k8s pod详细讲解

Posted Xd聊架构

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了k8s pod详细讲解相关的知识，希望对你有一定的参考价值。

文章目录

一、pod介绍

1.结构


每个Pod中都可以包含一个或者多个容器，这些容器可以分为两类：

  • 用户程序所在的容器，数量可多可少
  • Pause容器，这是每个Pod都会有的一个根容器，它的作用有两个：
    • 可以以它为依据，评估整个Pod的健康状态
    • 可以在根容器上设置Ip地址，其它容器都此Ip（Pod IP），以实现Pod内部的网路通信
      Pod的之间的通讯采用虚拟二层网络技术来实现，一般采用Flannel

2.定义

apiVersion: v1 #必选，版本号，例如v1
kind: Pod #必选，资源类型，例如 Pod
metadata: #必选，元数据
  name: string #必选，Pod名称
  namespace: string #Pod所属的命名空间,默认为"default"
  labels: #自定义标签列表
    - name: string
spec: #必选，Pod中容器的详细定义
  containers: #必选，Pod中容器列表
    - name: string #必选，容器名称
      image: string #必选，容器的镜像名称
      imagePullPolicy: [ Always|Never|IfNotPresent ] #获取镜像的策略
      command: [string] #容器的启动命令列表，如不指定，使用打包时使用的启动命令
      args: [string] #容器的启动命令参数列表
      workingDir: string #容器的工作目录
      volumeMounts: #挂载到容器内部的存储卷配置
        - name: string #引用pod定义的共享存储卷的名称，需用volumes[]部分定义的的卷名
        mountPath: string #存储卷在容器内mount的绝对路径，应少于512字符
        readOnly: boolean #是否为只读模式
      ports: #需要暴露的端口库号列表
      - name: string #端口的名称
        containerPort: int #容器需要监听的端口号
        hostPort: int #容器所在主机需要监听的端口号，默认与Container相同
        protocol: string #端口协议，支持TCP和UDP，默认TCP
      env: #容器运行前需设置的环境变量列表
      - name: string #环境变量名称
        value: string #环境变量的值
      resources: #资源限制和请求的设置
        limits: #资源限制的设置
          cpu: string #Cpu的限制，单位为core数，将用于docker run --cpu-shares参数
          memory: string #内存限制，单位可以为Mib/Gib，将用于docker run --memory参数
        requests: #资源请求的设置
          cpu: string #Cpu请求，容器启动的初始可用数量
          memory: string #内存请求,容器启动的初始可用数量
      lifecycle: #生命周期钩子
        postStart: #容器启动后立即执行此钩子,如果执行失败,会根据重启策略进行重启
        preStop: #容器终止前执行此钩子,无论结果如何,容器都会终止
      livenessProbe: #对Pod内各容器健康检查的设置，当探测无响应几次后将自动重启该容器
        exec: #对Pod容器内检查方式设置为exec方式
          command: [string] #exec方式需要制定的命令或脚本
        httpGet: #对Pod内个容器健康检查方法设置为HttpGet，需要制定Path、port
          path: string
          port: number
          host: string
          scheme: string
          HttpHeaders:
          - name: string
            value: string
        tcpSocket: #对Pod内个容器健康检查方式设置为tcpSocket方式
          port: number
         initialDelaySeconds: 0 #容器启动完成后首次探测的时间，单位为秒
         timeoutSeconds: 0 #对容器健康检查探测等待响应的超时时间，单位秒，默认1秒
         periodSeconds: 0 #对容器监控检查的定期探测时间设置，单位秒，默认10秒一次
         successThreshold: 0
         failureThreshold: 0
         securityContext:
           privileged: false
restartPolicy: [Always | Never | OnFailure] #Pod的重启策略
nodeName: <string> #设置NodeName表示将该Pod调度到指定到名称的node节点上
nodeSelector: obeject #设置NodeSelector表示将该Pod调度到包含这个label的node上
imagePullSecrets: #Pull镜像时使用的secret名称，以key：secretkey格式指定
- name: string
hostNetwork: false #是否使用主机网络模式，默认为false，如果设置为true，表示使用宿主机网络
volumes: #在该pod上定义共享存储卷列表
- name: string #共享存储卷名称 （volumes类型有很多种）
  emptyDir:  #类型为emtyDir的存储卷，与Pod同生命周期的一个临时目录。为空值
  hostPath: string #类型为hostPath的存储卷，表示挂载Pod所在宿主机的目录
    path: string #Pod所在宿主机的目录，将被用于同期中mount的目录
  secret: #类型为secret的存储卷，挂载集群与定义的secret对象到容器内部
    scretname: string
    items:
    - key: string
      path: string
  configMap: #类型为configMap的存储卷，挂载预定义的configMap对象到容器内部
    name: string
    items:
    - key: string
      path: string

二、pod生命周期

我们一般将pod对象从创建至终的这段时间范围称为pod的生命周期，它主要包含下面的过程：

  • pod创建过程
  • 运行初始化容器（init container）过程
  • 运行主容器（main container）
    • 容器启动后钩子（post start）、容器终止前钩子（pre stop）
    • 容器的存活性探测（liveness probe）、就绪性探测（readiness probe）
  • pod终止过程

在整个生命周期中，Pod会出现5种状态（相位），分别如下：

  • 挂起（Pending）：apiserver已经创建了pod资源对象，但它尚未被调度完成或者仍处于下载镜像的
    过程中
  • 运行中（Running）：pod已经被调度至某节点，并且所有容器都已经被kubelet创建完成
  • 成功（Succeeded）：pod中的所有容器都已经成功终止并且不会被重启
  • 失败（Failed）：所有容器都已经终止，但至少有一个容器终止失败，即容器返回了非0值的退出
    状态
  • 未知（Unknown）：apiserver无法正常获取到pod对象的状态信息，通常由网络通信失败所导致

1.创建和终止

pod的创建过程

  1. 用户通过kubectl或其他api客户端提交需要创建的pod信息给apiServer
  2. apiServer开始生成pod对象的信息，并将信息存入etcd，然后返回确认信息至客户端
  3. apiServer开始反映etcd中的pod对象的变化，其它组件使用watch机制来跟踪检查apiServer上的变
    动
  4. scheduler发现有新的pod对象要创建，开始为Pod分配主机并将结果信息更新至apiServer
  5. node节点上的kubelet发现有pod调度过来，尝试调用docker启动容器，并将结果回送至apiServer
  6. apiServer将接收到的pod状态信息存入etcd中

pod的终止过程

  1. 用户向apiServer发送删除pod对象的命令
  2. apiServcer中的pod对象信息会随着时间的推移而更新，在宽限期内（默认30s），pod被视为dead
  3. 将pod标记为terminating状态
  4. kubelet在监控到pod对象转为terminating状态的同时启动pod关闭过程
  5. 端点控制器监控到pod对象的关闭行为时将其从所有匹配到此端点的service资源的端点列表中移
    除
  6. 如果当前pod对象定义了preStop钩子处理器，则在其标记为terminating后即会以同步的方式启动
    执行
  7. pod对象中的容器进程收到停止信号
  8. 宽限期结束后，若pod中还存在仍在运行的进程，那么pod对象会收到立即终止的信号
  9. kubelet请求apiServer将此pod资源的宽限期设置为0从而完成删除操作，此时pod对于用户已不可
    见

2.初始化容器

初始化容器是在pod的主容器启动之前要运行的容器，主要是做一些主容器的前置工作，它具有两大特
征：

  1. 初始化容器必须运行完成直至结束，若某初始化容器运行失败，那么kubernetes需要重启它直到
    成功完成
  2. 初始化容器必须按照定义的顺序执行，当且仅当前一个成功之后，后面的一个才能运行

初始化容器有很多的应用场景，下面列出的是最常见的几个：

  • 提供主容器镜像中不具备的工具程序或自定义代码
  • 初始化容器要先于应用容器串行启动并运行完成，因此可用于延后应用容器的启动直至其依赖的条
    件得到满足

3.钩子函数

钩子函数能够感知自身生命周期中的事件，并在相应的时刻到来时运行用户指定的程序代码。
kubernetes在主容器的启动之后和停止之前提供了两个钩子函数：

  • post start：容器创建之后执行，如果失败了会重启容器
  • pre stop ：容器终止之前执行，执行完成之后容器将成功终止，在其完成之前会阻塞删除容器的操
    作

钩子处理器支持使用下面三种方式定义动作：

  • Exec命令：在容器内执行一次命令
……
  lifecycle:
    postStart:
      exec:
        command:
        - cat
        - /tmp/healthy
……
  • TCPSocket：在当前容器尝试访问指定的socket
……
  lifecycle:
    postStart:
      tcpSocket:
        port: 8080
……
  • HTTPGet：在当前容器中向某url发起http请求
……
  lifecycle:
    postStart:
      httpGet:
        path: / #URI地址
        port: 80 #端口号
        host: 192.168.109.100 #主机地址
        scheme: HTTP #支持的协议，http或者https
……

查看livenessProbe的子属性，会发现除了这三种方式，还有一些其他的配置，在这里一并解释下：

[root@master ~]# kubectl explain pod.spec.containers.livenessProbe
FIELDS:
exec <Object>
tcpSocket <Object>
httpGet <Object>
initialDelaySeconds <integer> # 容器启动后等待多少秒执行第一次探测
timeoutSeconds <integer> # 探测超时时间。默认1秒，最小1秒
periodSeconds <integer> # 执行探测的频率。默认是10秒，最小1秒
failureThreshold <integer> # 连续探测失败多少次才被认定为失败。默认是3。最小值是1
successThreshold <integer> # 连续探测成功多少次才被认定为成功。默认是1

4.容器探测

容器探测用于检测容器中的应用实例是否正常工作，是保障业务可用性的一种传统机制。如果经过探
测，实例的状态不符合预期，那么kubernetes就会把该问题实例" 摘除 "，不承担业务流量。kubernetes
提供了两种探针来实现容器探测，分别是：

  • liveness probes：存活性探针，用于检测应用实例当前是否处于正常运行状态，如果不是，k8s会重
    启容器
  • readiness probes：就绪性探针，用于检测应用实例当前是否可以接收请求，如果不能，k8s不会转
    发流量

livenessProbe 决定是否重启容器，readinessProbe 决定是否将请求转发给容器。

上面两种探针目前均支持三种探测方式：

  • Exec命令：在容器内执行一次命令，如果命令执行的退出码为0，则认为程序正常，否则不正常
……
livenessProbe:
  exec:
    command:
    - cat
    - /tmp/healthy
……
  • TCPSocket：将会尝试访问一个用户容器的端口，如果能够建立这条连接，则认为程序正常，否则
    不正常
……
livenessProbe:
  tcpSocket:
    port: 8080
……
  • HTTPGet：调用容器内Web应用的URL，如果返回的状态码在200和399之间，则认为程序正常，否
    则不正常
……
  livenessProbe:
    httpGet:
      path: / #URI地址
      port: 80 #端口号
      host: 127.0.0.1 #主机地址
      scheme: HTTP #支持的协议，http或者https
……

5.重启策略

在上一节中，一旦容器探测出现了问题，kubernetes就会对容器所在的Pod进行重启，其实这是由pod的
重启策略决定的，pod的重启策略有 3 种，分别如下：

  • Always ：容器失效时，自动重启该容器，这也是默认值。
  • OnFailure ： 容器终止运行且退出码不为0时重启
  • Never ： 不论状态为何，都不重启该容器

重启策略适用于pod对象中的所有容器，首次需要重启的容器，将在其需要时立即进行重启，随后再次
需要重启的操作将由kubelet延迟一段时间后进行，且反复的重启操作的延迟时长以此为10s、20s、
40s、80s、160s和300s，300s是最大延迟时长。

三、Pod调度

在默认情况下，一个Pod在哪个Node节点上运行，是由Scheduler组件采用相应的算法计算出来的，这个
过程是不受人工控制的。但是在实际使用中，这并不满足的需求，因为很多情况下，我们想控制某些
Pod到达某些节点上，那么应该怎么做呢？这就要求了解kubernetes对Pod的调度规则，kubernetes提供
了四大类调度方式：

  • 自动调度：运行在哪个节点上完全由Scheduler经过一系列的算法计算得出
  • 定向调度：NodeName、NodeSelector
  • 亲和性调度：NodeAw inity、PodAw inity、PodAntiAw inity
  • 污点（容忍）调度：Taints、Toleration

1.定向调度

定向调度，指的是利用在pod上声明nodeName或者nodeSelector，以此将Pod调度到期望的node节点
上。注意，这里的调度是强制的，这就意味着即使要调度的目标Node不存在，也会向上面进行调度，只
不过pod运行失败而已。

NodeName
NodeName用于强制约束将Pod调度到指定的Name的Node节点上。这种方式，其实是直接跳过Scheduler
的调度逻辑，直接将Pod调度到指定名称的节点。

NodeSelector
NodeSelector用于将pod调度到添加了指定标签的node节点上。它是通过kubernetes的label-selector机制
实现的，也就是说，在pod创建之前，会由scheduler使用MatchNodeSelector调度策略进行label匹配，找
出目标node，然后将pod调度到目标节点，该匹配规则是强制约束。

2.亲和性调度

上一节，介绍了两种定向调度的方式，使用起来非常方便，但是也有一定的问题，那就是如果没有满足
条件的Node，那么Pod将不会被运行，即使在集群中还有可用Node列表也不行，这就限制了它的使用场
景。

基于上面的问题，kubernetes还提供了一种亲和性调度（Aw inity）。它在NodeSelector的基础之上的进行
了扩展，可以通过配置的形式，实现优先选择满足条件的Node进行调度，如果没有，也可以调度到不满
足条件的节点上，使调度更加灵活。

Aw inity主要分为三类：

  • nodeAw inity(node亲和性）: 以node为目标，解决pod可以调度到哪些node的问题
  • podAw inity(pod亲和性) : 以pod为目标，解决pod可以和哪些已存在的pod部署在同一个拓扑域中的
    问题
  • podAntiAw inity(pod反亲和性) : 以pod为目标，解决pod不能和哪些已存在pod部署在同一个拓扑域
    中的问题

关于亲和性(反亲和性)使用场景的说明：
亲和性：如果两个应用频繁交互，那就有必要利用亲和性让两个应用的尽可能的靠近，这样可以
减少因网络通信而带来的性能损耗。
反亲和性：当应用的采用多副本部署时，有必要采用反亲和性让各个应用实例打散分布在各个
node上，这样可以提高服务的高可用性。

NodeAw inity
首先来看一下 NodeAffinity 的可配置项：

3.污点和容忍

污点（Taints）
前面的调度方式都是站在Pod的角度上，通过在Pod上添加属性，来确定Pod是否要调度到指定的Node
上，其实我们也可以站在Node的角度上，通过在Node上添加污点属性，来决定是否允许Pod调度过来。

Node被设置上污点之后就和Pod之间存在了一种相斥的关系，进而拒绝Pod调度进来，甚至可以将已经
存在的Pod驱逐出去。

污点的格式为： key=value:effect , key和value是污点的标签，ew ect描述污点的作用，支持如下三个
选项：

  • PreferNoSchedule：kubernetes将尽量避免把Pod调度到具有该污点的Node上，除非没有其他节点
    可调度
  • NoSchedule：kubernetes将不会把Pod调度到具有该污点的Node上，但不会影响当前Node上已存在
    的Pod
  • NoExecute：kubernetes将不会把Pod调度到具有该污点的Node上，同时也会将Node上已存在的Pod
    驱离


使用kubectl设置和去除污点的命令示例如下：

# 设置污点
kubectl taint nodes node1 key=value:effect
# 去除污点
kubectl taint nodes node1 key:effect-
# 去除所有污点
kubectl taint nodes node1 key-

容忍（Toleration）
上面介绍了污点的作用，我们可以在node上添加污点用于拒绝pod调度上来，但是如果就是想将一个
pod调度到一个有污点的node上去，这时候应该怎么做呢？这就要使用到容忍。

污点就是拒绝，容忍就是忽略，Node通过污点拒绝pod调度上去，Pod通过容忍忽略拒绝

结尾

  • 感谢大家的耐心阅读，如有建议请私信或评论留言。
  • 如有收获，劳烦支持，关注、点赞、评论、收藏均可，博主会经常更新，与大家共同进步

以上是关于k8s pod详细讲解的主要内容，如果未能解决你的问题，请参考以下文章

k8s pod详细讲解

k8s 实践经验pod 详解

pod 调度详解：亲和污点和容忍

pod 调度详解：亲和污点和容忍

7.k8s.调度器scheduler 亲和性污点

再战 k8s（11）：污点容忍，亲和性