K8s的Pod控制器详解

Posted 2022-09-05 大忽悠爱忽悠

K8s的Pod控制器详解

• Pod控制器的介绍
• • ReplicaSet（RS）
  • • 创建ReplicaSet
    • 扩缩容
    • 镜像升级
    • 删除ReplicaSet
  • Deployment（Deploy）
  • • 创建Deployment
    • 扩缩容
    • 镜像更新
    • • 重建更新
      • 滚动更新
    • 版本回退
    • 金丝雀发布
    • 删除Deployment
  • Horizontal Pod Autoscaler（HPA）
  • • 安装metrics-server（v0.3.6）
    • 安装metrics-server（v0.4.1）
    • 准备Deployment和Service
    • 部署HPA
    • 测试
  • DaemonSet（DS）
  • • 创建DaemonSet
    • 查看DaemonSet
    • 删除DaemonSet
  • Job
  • • 创建Job
    • 查看Job
    • 删除Job
  • CronJob（CJ）
  • • 创建CronJob
    • 查看CronJob
    • 删除CronJob
  • StatefulSet（有状态）
  • • 创建StatefulSet
    • 查看StatefulSet
    • Deployment和StatefulSet的区别
    • StatefulSet的金丝雀发布

---

Pod控制器的介绍

● 在kubernetes中，按照Pod的创建方式可以将其分为两类：

○ 自主式Pod：kubernetes直接创建出来的Pod，这种Pod删除后就没有了，也不会重建。

○ 控制器创建Pod：通过Pod控制器创建的Pod，这种Pod删除之后还会自动重建。

● Pod控制器：Pod控制器是管理Pod的中间层，使用了Pod控制器之后，我们只需要告诉Pod控制器，想要多少个什么样的Pod就可以了，它就会创建出满足条件的Pod并确保每一个Pod处于用户期望的状态，如果Pod在运行中出现故障，控制器会基于指定的策略重启或重建Pod。

● 在kubernetes中，有很多类型的Pod控制器，每种都有自己的适合的场景，常见的有下面这些：

○ ReplicationController：比较原始的Pod控制器，已经被废弃，由ReplicaSet替代。

○ ReplicaSet：保证指定数量的Pod运行，并支持Pod数量变更，镜像版本变更。

○ Deployment：通过控制ReplicaSet来控制Pod，并支持滚动升级、版本回退。

○ Horizontal Pod Autoscaler：可以根据集群负载自动调整Pod的数量，实现削峰填谷。

○ DaemonSet：在集群中的指定Node上都运行一个副本，一般用于守护进程类的任务。

○ Job：它创建出来的Pod只要完成任务就立即退出，用于执行一次性任务。

○ CronJob：它创建的Pod会周期性的执行，用于执行周期性的任务。

○ StatefulSet：管理有状态的应用。

---

ReplicaSet（RS）

ReplicaSet的主要作用是保证一定数量的Pod能够正常运行，它会持续监听这些Pod的运行状态，一旦Pod发生故障，就会重启或重建。同时它还支持对Pod数量的扩缩容和版本镜像的升级。

ReplicaSet的资源清单文件：

apiVersion: apps/v1 # 版本号 
kind: ReplicaSet # 类型 
metadata: # 元数据 
  name: # rs名称
  namespace: # 所属命名空间 
  labels: #标签 
    controller: rs 
spec: # 详情描述 
  replicas: 3 # 副本数量 
  selector: # 选择器，通过它指定该控制器管理哪些po
    matchLabels: # Labels匹配规则 
      app: nginx-pod 
    matchExpressions: # Expressions匹配规则 
      - key: app, operator: In, values: [nginx-pod] 
template: # 模板，当副本数量不足时，会根据下面的模板创建pod副本 
  metadata: 
    labels: 
      app: nginx-pod 
  spec: 
    containers: 
      - name: nginx 
        image: nginx:1.17.1 
        ports: 
        - containerPort: 80

● 在这里，需要新了解的配置项就是spec下面几个选项：

○ replicas：指定副本数量，其实就是当然rs创建出来的Pod的数量，默认为1.

○ selector：选择器，它的作用是建立Pod控制器和Pod之间的关联关系，采用了Label Selector机制（在Pod模块上定义Label，在控制器上定义选择器，就可以表明当前控制器能管理哪些Pod了）。

○ template：模板，就是当前控制器创建Pod所使用的模板，里面其实就是前面学过的Pod的定义。

---

创建ReplicaSet

创建pc-replicaset.yaml文件，内容如下：

apiVersion: apps/v1 # 版本号
kind: ReplicaSet # 类型
metadata: # 元数据
  name: pc-replicaset # rs名称
  namespace: dev # 命名类型
spec: # 详细描述
  replicas: 3 # 副本数量
  selector: # 选择器，通过它指定该控制器可以管理哪些Pod
    matchLabels: # Labels匹配规则
      app: nginx-pod
  template: # 模块 当副本数据不足的时候，会根据下面的模板创建Pod副本
    metadata:
      labels:
        app: nginx-pod
    spec:
      containers:
        - name: nginx # 容器名称
          image: nginx:1.17.1 # 容器需要的镜像地址
          ports:
            - containerPort: 80 # 容器所监听的端口

创建rs：

kubectl create -f pc-replicaset.yaml

查看rs：

kubectl get rs pc-replicaset -n dev -o wide

查看当前控制器创建出来的Pod（控制器创建出来的Pod的名称是在控制器名称后面拼接了-xxx随机码）：

kubectl get pod -n dev

---

扩缩容

编辑rs的副本数量，修改spec:replicas:6即可。

kubectl edit rs pc-replicaset -n dev

此时查看rs下管理的副本数量时，会发现变为了我们扩缩容后的数量:

---

使用scale命令实现扩缩容，后面加上–replicas=n直接指定目标数量即可。

kubectl scale rs pc-replicaset --replicas=1 -n dev

---

镜像升级

编辑rs的容器镜像，修改spec:containers:image为nginx:1.17.2即可。

kubectl edit rs pc-replicaset -n dev

通过查询，可以发现对应控制器下面的pod容器镜像已经完成了升级:

---

使用set命令实现镜像升级。

# 语法
kubectl set image rs rs名称 容器名称=镜像版本 -n 命名空间

kubectl set image rs pc-replicaset nginx=nginx:1.17.1 -n dev

---

删除ReplicaSet

使用kubectl delete rs 命令会删除ReplicaSet和其管理的Pod。

# 在kubernetes删除ReplicaSet前，会将ReplicaSet的replicas调整为0，等到所有的Pod被删除后，再执行ReplicaSet对象的删除
kubectl delete rs pc-replicaset -n dev

如果希望仅仅删除ReplicaSet对象（保留Pod），只需要在使用kubectl delete rs命令的时候添加–cascade=false选项（不推荐）：

kubectl delete rs pc-replicaset -n dev --cascade=false

使用yaml直接删除（推荐）：

kubectl delete -f pc-replicaset.yaml

---

Deployment（Deploy）

为了更好的解决服务编排的问题，kubernetes在v1.2版本开始，引入了Deployment控制器。值得一提的是，Deployment控制器并不直接管理Pod，而是通过管理ReplicaSet来间接管理Pod，即：Deployment管理ReplicaSet，ReplicaSet管理Pod。所以Deployment的功能比ReplicaSet强大。

● Deployment的主要功能如下：

○ 支持ReplicaSet的所有功能。

○ 支持发布的停止、继续。

○ 支持版本滚动更新和版本回退。

● Deployment的资源清单：

apiVersion: apps/v1 # 版本号 
kind: Deployment # 类型 
metadata: # 元数据 
  name: # rs名称 
  namespace: # 所属命名空间 
  labels: #标签 
    controller: deploy 
spec: # 详情描述 
  replicas: 3 # 副本数量 
  revisionHistoryLimit: 3 # 保留历史版本，默认为10 
  paused: false # 暂停部署，默认是false 
  progressDeadlineSeconds: 600 # 部署超时时间（s），默认是600 
  strategy: # 策略 
    type: RollingUpdate # 滚动更新策略 
    rollingUpdate: # 滚动更新 
      maxSurge: 30% # 最大额外可以存在的副本数，可以为百分比，也可以为整数 
      maxUnavailable: 30% # 最大不可用状态的    Pod 的最大值，可以为百分比，也可以为整数 
  selector: # 选择器，通过它指定该控制器管理哪些pod 
    matchLabels: # Labels匹配规则 
      app: nginx-pod 
    matchExpressions: # Expressions匹配规则 
      - key: app, operator: In, values: [nginx-pod] 
  template: # 模板，当副本数量不足时，会根据下面的模板创建pod副本 
    metadata: 
      labels: 
        app: nginx-pod 
    spec: 
      containers: 
      - name: nginx 
        image: nginx:1.17.1 
        ports: 
        - containerPort: 80

---

创建Deployment

创建pc-deployment.yaml文件，内容如下：

apiVersion: apps/v1 # 版本号
kind: Deployment # 类型
metadata: # 元数据
  name: pc-deployment # deployment的名称
  namespace: dev # 命名类型
spec: # 详细描述
  replicas: 3 # 副本数量
  selector: # 选择器，通过它指定该控制器可以管理哪些Pod
    matchLabels: # Labels匹配规则
      app: nginx-pod
  template: # 模块 当副本数据不足的时候，会根据下面的模板创建Pod副本
    metadata:
      labels:
        app: nginx-pod
    spec:
      containers:
        - name: nginx # 容器名称
          image: nginx:1.17.1 # 容器需要的镜像地址
          ports:
            - containerPort: 80 # 容器所监听的端口

创建Deployment：

kubectl create -f pc-deployment.yaml

查看Deployment：

# UP-TO-DATE 最新版本的Pod数量
# AVAILABLE 当前可用的Pod数量
kubectl get deploy pc-deployment -n dev

查看ReplicaSet：

kubectl get rs -n dev

查看Pod：

kubectl get pod -n dev

---

扩缩容

使用scale命令实现扩缩容：

kubectl scale deploy pc-deployment --replicas=1 -n dev

编辑Deployment的副本数量，修改spec:replicas:1即可。

kubectl edit deployment pc-deployment -n dev

---

镜像更新

Deployment支持两种镜像更新的策略：重建更新和滚动更新（默认），可以通过strategy选项进行配置。

strategy: 指定新的Pod替代旧的Pod的策略，支持两个属性
  type: 指定策略类型，支持两种策略
    Recreate：在创建出新的Pod之前会先杀掉所有已经存在的Pod
    RollingUpdate：滚动更新，就是杀死一部分，就启动一部分，在更新过程中，存在两个版本的Pod
  rollingUpdate：当type为RollingUpdate的时候生效，用于为rollingUpdate设置参数，支持两个属性：
    maxUnavailable：用来指定在升级过程中不可用的Pod的最大数量，默认为25%。
    maxSurge： 用来指定在升级过程中可以超过期望的Pod的最大数量，默认为25%。

---

重建更新

编辑pc-deployment.yaml文件，在spec节点下添加更新策略

apiVersion: apps/v1 # 版本号
kind: Deployment # 类型
metadata: # 元数据
  name: pc-deployment # deployment的名称
  namespace: dev # 命名类型
spec: # 详细描述
  replicas: 3 # 副本数量
  strategy: # 镜像更新策略
    type: Recreate # Recreate：在创建出新的Pod之前会先杀掉所有已经存在的Pod
  selector: # 选择器，通过它指定该控制器可以管理哪些Pod
    matchLabels: # Labels匹配规则
      app: nginx-pod
  template: # 模块 当副本数据不足的时候，会根据下面的模板创建Pod副本
    metadata:
      labels:
        app: nginx-pod
    spec:
      containers:
        - name: nginx # 容器名称
          image: nginx:1.17.1 # 容器需要的镜像地址
          ports:
            - containerPort: 80 # 容器所监听的端口

更新Deployment：

kubectl apply -f pc-deployment.yaml

镜像升级：

kubectl set image deployment pc-deployment nginx=nginx:1.17.2 -n dev

查看升级过程：

kubectl get pod -n dev -w

---

滚动更新

编辑pc-deployment.yaml文件，在spec节点下添加更新策略：

apiVersion: apps/v1 # 版本号
kind: Deployment # 类型
metadata: # 元数据
  name: pc-deployment # deployment的名称
  namespace: dev # 命名类型
spec: # 详细描述
  replicas: 3 # 副本数量
  strategy: # 镜像更新策略
    type: RollingUpdate # RollingUpdate：滚动更新，就是杀死一部分，就启动一部分，在更新过程中，存在两个版本的Pod
    rollingUpdate:
      maxUnavailable: 25%
      maxSurge: 25%
  selector: # 选择器，通过它指定该控制器可以管理哪些Pod
    matchLabels: # Labels匹配规则
      app: nginx-pod
  template: # 模块 当副本数据不足的时候，会根据下面的模板创建Pod副本
    metadata:
      labels:
        app: nginx-pod
    spec:
      containers:
        - name: nginx # 容器名称
          image: nginx:1.17.1 # 容器需要的镜像地址
          ports:
            - containerPort: 80 # 容器所监听的端口

更新Deployment：

kubectl apply -f pc-deployment.yaml

镜像升级：

kubectl set image deployment pc-deployment nginx=nginx:1.17.3 -n dev

查看升级过程：

kubectl get pod -n dev -w

滚动更新的过程：

镜像更新中rs的变化：

# 查看rs，发现原来的rs依旧存在，只是Pod的数量变为0，而后又产生了一个rs，Pod的数量变为3
# 其实这就是deployment能够进行版本回退的奥妙所在
kubectl get rs -n dev

---

版本回退

Deployment支持版本升级过程中的暂停、继续功能以及版本回退等诸多功能，下面具体来看：

# 版本升级相关功能
kubetl rollout 参数 deploy xx  # 支持下面的选择
# status 显示当前升级的状态
# history 显示升级历史记录
# pause 暂停版本升级过程
# resume 继续已经暂停的版本升级过程
# restart 重启版本升级过程
# undo 回滚到上一级版本 （可以使用--to-revision回滚到指定的版本）

查看当前升级版本的状态：

kubectl rollout status deployment pc-deployment -n dev

查看升级历史记录：

kubectl rollout history deployment pc-deployment -n dev

版本回退：

# 可以使用-to-revision=1回退到1版本，如果省略这个选项，就是回退到上个版本，即2版本
kubectl rollout undo deployment pc-deployment --to-revision=1 -n dev

deployment之所以能够实现版本的回退，就是通过记录下历史的ReplicaSet来实现的，一旦想回滚到那个版本，只需要将当前版本的Pod数量降为0，然后将回退版本的Pod提升为目标数量即可。

---

金丝雀发布

● Deployment支持更新过程中的控制，如暂停更新操作（pause）或继续更新操作（resume）。

● 例如有一批新的Pod资源创建完成后立即暂停更新过程，此时，仅存在一部分新版本的应用，主体部分还是旧的版本。然后，再筛选一小部分的用户请求到新版本的Pod应用，继续观察能够稳定的按照期望的方式运行，如果没有问题之后再继续完成余下的Pod资源的滚动更新，否则立即回滚操作。

● 更新Deployment的版本，并配置暂停Deployment：

kubectl set image deployment pc-deployment nginx=nginx:1.17.4 -n dev && kubectl rollout pause deployment pc-deployment -n dev

观察更新状态：

kubectl rollout status deployment pc-deployment -n dev

监控更新的过程，可以看到已经新增了一个资源，但是并没有按照预期的状态去删除一个旧的资源，因为使用了pause暂停命令：

kubectl get rs -n dev -o wide

查看Pod：

kubectl get pod -n dev

确保更新的Pod没问题之后，继续更新：

kubectl rollout resume deployment pc-deployment -n dev

查看最后的更新情况：

kubectl get rs -n dev -o wide

kubectl get pod -n dev

---

删除Deployment

删除Deployment，其下的ReplicaSet和Pod也会一起被删除：

kubectl delete -f pc-deployment.yaml

---

Horizontal Pod Autoscaler（HPA）

● 我们已经可以通过手动执行kubectl scale命令实现Pod的扩缩容，但是这显然不符合kubernetes的定位目标–自动化和智能化。kubernetes期望可以通过监测Pod的使用情况，实现Pod数量的自动调整，于是就产生了HPA这种控制器。

● HPA可以获取每个Pod的利用率，然后和HPA中定义的指标进行对比，同时计算出需要伸缩的具体值，最后实现Pod的数量的调整。其实HPA和之前的Deployment一样，也属于一种kubernetes资源对象，它通过追踪分析目标Pod的负载变化情况，来确定是否需要针对性的调整目标Pod的副本数。

安装metrics-server（v0.3.6）

● metrics-server可以用来收集集群中的资源使用情况。

● 获取metrics-server，需要注意使用的版本

wget https://github.com/kubernetes-sigs/metrics-server/archive/v0.3.6.tar.gz

解压v0.3.6.tar.gz文件：

tar -zxvf v0.3.6.tar.gz

进入metrics-server-0.3.6/deploy/1.8+/目录：

cd metrics-server-0.3.6/deploy/1.8+/

修改metrics-server-deployment.yaml文件：

vim metrics-server-deployment.yaml

按图中添加下面选项
hostNetwork: true
image: registry.cn-hangzhou.aliyuncs.com/google_containers/metrics-server-amd64:v0.3.6 
args:
  - --kubelet-insecure-tls 
  - --kubelet-preferred-address-types=InternalIP,Hostname,InternalDNS,ExternalDNS,ExternalIP

---

安装metrics-server：

kubectl apply -f ./

查看metrics-server生成的Pod：

kubectl get pod -n kube-system

查看资源使用情况：

kubectl top node

kubectl top pod -n kube-system

---

安装metrics-server（v0.4.1）

获取metrics-server：

wget https://github.com/kubernetes-sigs/metrics-server/releases/download/v0.4.1/components.yaml

修改components.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    k8s-app: metrics-server
  name: metrics-server
  namespace: kube-system
spec:
  selector:
    matchLabels:
      k8s-app: metrics-server
  strategy:
    rollingUpdate:
      maxUnavailable: 0
  template:
    metadata:
      labels:
        k8s-app: metrics-server
    spec:
      containers:
      - args:
        - --cert-dir=/tmp
        - --secure-port=4443
        - --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname
        - --kubelet-use-node-status-port
        # 修改部分
        - --kubelet-insecure-tls
        # 修改部分
        image: registry.cn-shanghai.aliyuncs.com/xuweiwei-kubernetes/metrics-server:v0.4.1

安装metrics-server：

kubectl apply -f components.yaml

---

准备Deployment和Service

我们要来测试一下HPA的动态调整pod效果，那么首先需要准备一下Deployment和Service环境。

● 创建Deployment：

○ 创建nginx.yaml文件，内容如下：

apiVersion: apps/v1 # 版本号
kind: Deployment # 类型
metadata: # 元数据
  name: nginx # deployment的名称
  namespace: dev # 命名类型
spec: # 详细描述
  selector: # 选择器，通过它指定该控制器可以管理哪些Pod
    matchLabels: # Labels匹配规则
      app: nginx-pod
  template: # 模块 当副本数据不足的时候，会根据下面的模板创建Pod副本
    metadata:
      labels:
        app: nginx-pod
    spec:
      containers:
        - name: nginx # 容器名称
          image: nginx:1.17.1 # 容器需要的镜像地址
          ports:
            - containerPort: 80 # 容器所监听的端口
          resources: # 资源限制
            requests:
              cpu: "100m" # 100m表示100millicpu，即0.1个CPU

创建Deployment：

kubectl create -f nginx.yaml

查看Deployment和Pod：

kubectl get pod,deploy -n dev

---

● 创建Service：

○ 创建Service：

kubectl expose deployment nginx --name=nginx --type=NodePort --port=80 --target-port=80 -n dev

查看Service：

kubectl get svc -n dev

---

部署HPA

通过配置文件告诉HPA要调整那个Deloyment,并且相关指标限制。

创建pc-hpa.yaml文件，内容如下：

apiVersion: autoscaling/v1 # 版本号
kind: HorizontalPodAutoscaler # 类型
metadata: # 元数据
  name: pc-hpa # HPA deployment的名称
  namespace: dev # 命名类型
spec:
  minReplicas: 1 # 最小Pod数量
  maxReplicas: 10 # 最大Pod数量
  targetCPUUtilizationPercentage: 3 # CPU使用率指标
  scaleTargetRef:  # 指定要控制的Nginx的信息
    apiVersion: apps/v1
    kind: Deployment
    name: nginx

创建hpa：

kubectl create -f pc-hpa.yaml

查看hpa：

kubectl get hpa -n dev

0%是监控的那个deployment cpu占用率,而3%是我们设置的CPU占用率指标，超过这个指标就需要扩容。

---

测试

● 使用压测工具如Jmeter对service的地址http://192.168.18.100:30395进行压测，然后通过控制台查看hpa和pod的变化。

● hpa的变化：

kubectl get hpa -n dev -w

Deployment的变化：

kubectl get deployment -n dev -w

Pod的变化：

kubectl get pod -n dev -w

当流量下来之后，需要等待一段时间，HPA才会进行自动缩容。

---

DaemonSet（DS）

DaemonSet类型的控制器可以保证集群中的每一台（或指定）节点上都运行一个副本，一般适用于日志收集、节点监控等场景。也就是说，如果一个Pod提供的功能是节点级别的（每个节点都需要且只需要一个），那么这类Pod就适合使用DaemonSet类型的控制器创建。

● DaemonSet控制器的特点：

○ 每向集群中添加一个节点的时候，指定的Pod副本也将添加到该节点上。

○ 当节点从集群中移除的时候，Pod也会被垃圾回收。

● DaemonSet的资源清单：

apiVersion: apps/v1 # 版本号
kind: DaemonSet # 类型
metadata: # 元数据
  name: # 名称
  namespace: #命名空间
  labels: #标签
    controller: daemonset
spec: # 详情描述
  revisionHistoryLimit: 3 # 保留历史版本
  updateStrategy: # 更新策略
    type: RollingUpdate # 滚动更新策略
    rollingUpdate: # 滚动更新
      maxUnavailable: 1 # 最大不可用状态的Pod的最大值，可用为百分比，也可以为整数
  selector: # 选择器，通过它
以上是关于K8s的Pod控制器详解的主要内容，如果未能解决你的问题，请参考以下文章
 
 K8S Pod控制器详细讲解
 K8S Pod控制器详细讲解
 15-Kubernetes-Pod控制器详解-Deployment(Deploy)
 Kubernetes之标签与Pod控制器详解
 03.kubernetes笔记 Pod控制器(二) Deployment
 k8s pod控制器使用以及详解