k8s通过ceph-csi接入存储的概要分析

Posted 良凯尔

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了k8s通过ceph-csi接入存储的概要分析相关的知识,希望对你有一定的参考价值。

概述

下面的分析是k8s通过ceph-csi(csi plugin)接入ceph存储(csi相关组件的分析以rbd为例进行分析),对csi系统结构、所涉及的k8s对象与组件进行了简单的介绍,以及对存储进行操作的流程分析,存储相关操作包括了存储创建、存储扩容、存储挂载、解除存储挂载以及存储删除操作。

csi系统结构

这是一张k8s csi的系统架构图,图中所画的组件以及k8s对象,接下来会一一进行分析。

csi简介

CSI是Container Storage Interface(容器存储接口)的简写。

CSI的目的是定义行业标准“容器存储接口”,使存储供应商(SP)能够开发一个符合CSI标准的插件并使其可以在多个容器编排(CO)系统中工作。CO包括Cloud Foundry, Kubernetes, Mesos等。

CSI一般采用容器化部署,减少了环境依赖。

涉及k8s对象

1. PersistentVolume

持久存储卷,集群级别资源,代表了存储卷资源,记录了该存储卷资源的相关信息。

回收策略

(1)retain:保留策略,当删除PVC的时候,PV与外部存储资源仍然存在。

(2)delete:删除策略,当与pv绑定的pvc被删除的时候,会从k8s集群中删除PV对象,并执行外部存储资源的删除操作。

(3)resycle(已废弃)

pv状态迁移

available --> bound --> released

2. PersistentVolumeClaim

持久存储卷声明,namespace级别资源,代表了用户对于存储卷的使用需求声明。

示例:

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: test
  namespace: zjl-test
spec:
  accessModes:
  - ReadWriteMany
  resources:
    requests:
      storage: 10Gi
  storageClassName: csi-cephfs-sc-1091-10088
  volumeMode: Filesystem
pvc状态迁移

pending --> bound

3. StorageClass

定义了创建pv的模板信息,集群级别资源,用于动态创建pv。

示例:

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: csi-rbd-sc
parameters:
  clusterID: 0advesae9-0a1c-41db-a619-263dse220161e
  csi.storage.k8s.io/fstype: xfs
  imageFeatures: layering
  imageFormat: "2"
  mounter: rbd-nbd
  pool: kubernetes
provisioner: rbd.csi.ceph.com
reclaimPolicy: Delete
volumeBindingMode: Immediate

4. VolumeAttachment

VolumeAttachment 记录了pv的相关挂载信息,如挂载到哪个node节点,由哪个volume plugin来挂载等。

AD Controller 创建一个 VolumeAttachment,而 External-attacher 则通过观察该 VolumeAttachment,根据其状态属性来进行存储的挂载和卸载操作。

示例:

apiVersion: storage.k8s.io/v1
kind: VolumeAttachment
metadata:
  name: csi-a98e283998805e19c1dcebc6078a5a973671bd6925348f08d56098a223a6d14c
spec:
  attacher: cephfs.csi.ceph.com
  nodeName: 10.248.34.10
  source:
    persistentVolumeName: pvc-14ec35d1-0533-44c9-a9e5-1db60b0f6800
status:
  attached: true

5. CSINode

CSINode 记录了csi plugin的相关信息(如nodeId、driverName、拓扑信息等)。

当Node Driver Registrar向kubelet注册一个csi plugin后,会创建(或更新)一个CSINode对象,记录csi plugin的相关信息。

示例:

apiVersion: storage.k8s.io/v1
kind: CSINode
metadata:
  name: 10.10.10.10
spec:
  drivers:
  - name: cephfs.csi.ceph.com
    nodeID: 10.10.10.10
    topologyKeys: null
  - name: rbd.csi.ceph.com
    nodeID: 10.10.10.10
    topologyKeys: null

涉及组件与作用

下面先简单介绍下涉及的组件与作用,后面会有单独详细的介绍各个组件的作用。

1. volume plugin

扩展各种存储类型的卷的管理能力,实现第三方存储的各种操作能力与k8s存储系统的结合。调用第三方存储的接口或命令,从而提供数据卷的创建/删除、attach/detach、mount/umount的具体操作实现,可以认为是第三方存储的代理人。前面分析组件中的对于数据卷的创建/删除、attach/detach、mount/umount操作,全是调用volume plugin来完成。

后续对volume plugin的详细分析,以通过ceph-csi操作rbd为例进行分析。

根据源码所在位置,volume plugin分为in-tree与out-of-tree。

in-tree

在k8s源码内部实现,和k8s一起发布、管理,更新迭代慢、灵活性差。

out-of-tree

代码独立于k8s,由存储厂商实现,有csi、flexvolume两种实现。

csi plugin

本次的分析为k8s通过ceph-csi来使用ceph存储,ceph-csi属于csi plugin。csi plugin分为ControllerServer与NodeServer,各负责不同的存储操作。

external plugin

external plugin包括了external-provisioner、external-attacher、external-resizer、external-snapshotter等,external plugin辅助csi plugin组件,共同完成了存储相关操作。external plugin负责watch pvc、volumeAttachment等对象,然后调用volume plugin来完成存储的相关操作。如external-provisioner watch pvc对象,然后调用csi plugin来创建存储,最后创建pv对象;external-attacher watch volumeAttachment对象,然后调用csi plugin来做attach/dettach操作;external-resizer watch pvc对象,然后调用csi plugin来做存储的扩容操作等。

Node-Driver-Registrar

Node-Driver-Registrar组件负责实现csi plugin(NodeServer)的注册,让kubelet感知csi plugin的存在。

组件部署方式

csi plugin controllerServer与external plugin作为容器,使用deployment部署,多副本可实现高可用;而csi plugin NodeServer与Node-Driver-Registrar作为容器,使用daemonset部署,即每个node节点都有。

2. kube-controller-manager

PV controller

负责pv、pvc的绑定与生命周期管理(如创建/删除底层存储,创建/删除pv对象,pv与pvc对象的状态变更)。

创建/删除底层存储、创建/删除pv对象的操作,由PV controller调用volume plugin(in-tree)来完成。本次分析的是k8s通过ceph-csi来使用ceph存储,volume plugin为ceph-csi,属于out-tree,所以创建/删除底层存储、创建/删除pv对象的操作由external-provisioner来完成。

AD controller

AD Cotroller全称Attachment/Detachment 控制器,主要负责创建、删除VolumeAttachment对象,并调用volume plugin来做存储设备的Attach/Detach操作(将数据卷挂载到特定node节点上/从特定node节点上解除挂载),以及更新node.Status.VolumesAttached等。

不同的volume plugin的Attach/Detach操作逻辑有所不同,如通过ceph-csi(out-tree volume plugin)来使用ceph存储,则的Attach/Detach操作只是修改VolumeAttachment对象的状态,而不会真正的将数据卷挂载到节点/从节点上解除挂载。

3. kubelet

volume manager

主要是管理卷的Attach/Detach(与AD controller作用相同,通过kubelet启动参数控制哪个组件来做该操作,后续会详细介绍)、mount/umount等操作。

本次的分析为k8s通过ceph-csi来使用ceph存储。本次分析中,volume manager的Attach/Detach操作只创建/删除VolumeAttachment对象,而不会真正的将数据卷挂载到节点/从节点上解除挂载;csi-attacer组件也不会做挂载/解除挂载操作,只是更新VolumeAttachment对象,真正的节点挂载/解除挂载操作由kubelet中volume manager调用rc.operationExecutor.MountVolume/rc.operationExecutor.UnmountDevice方法时,调用ceph-csi来完成。

kubernetes创建与挂载volume(in-tree volume plugin)

先来看下kubernetes通过in-tree volume plugin来创建与挂载volume的流程

(1)用户创建pvc;
(2)PV controller watch到pvc的创建,寻找合适的pv与之绑定。
(3)(4)当找不到合适的pv时,将调用volume plugin来创建volume,并创建pv对象,之后该pv对象与pvc对象绑定。
(5)用户创建挂载pvc的pod;
(6)kube-scheduler watch到pod的创建,为其寻找合适的node调度。
(7)(8)pod调度完成后,AD controller/volume manager watch到pod声明的volume没有进行attach操作,将调用volume plugin来做attach操作。
(9)volume plugin进行attach操作,将volume挂载到pod所在node节点,成为如/dev/vdb的设备。
(10)(11)attach操作完成后,volume manager watch到pod声明的volume没有进行mount操作,将调用volume plugin来做mount操作。
(12)volume plugin进行mount操作,将node节点上的第(9)步得到的/dev/vdb设备挂载到指定目录。

kubernetes创建与挂载volume(out-of-tree volume plugin)

再来看下kubernetes通过out-of-tree volume plugin来创建与挂载volume的流程,以csi-plugin为例。

(1)用户创建pvc;
(2)PV controller watch到pvc的创建,寻找合适的pv与之绑定。当寻找不到合适的pv时,将更新pvc对象,添加annotation:volume.beta.kubernetes.io/storage-provisioner,让external-provisioner组件开始开始创建存储与pv对象的操作。
(3)external-provisioner组件watch到pvc的创建,判断annotation:volume.beta.kubernetes.io/storage-provisioner的值,即判断是否是自己来负责做创建操作,是则调用csi-plugin ControllerServer来创建存储,并创建pv对象。
(4)PV controller watch到pvc,寻找合适的pv(上一步中创建)与之绑定。
(5)用户创建挂载pvc的pod;
(6)kube-scheduler watch到pod的创建,为其寻找合适的node调度。
(7)(8)pod调度完成后,AD controller/volume manager watch到pod声明的volume没有进行attach操作,将调用csi-attacher来做attach操作(实际上只是创建volumeAttachement对象)。
(9)external-attacher组件watch到volumeAttachment对象的新建,调用csi-plugin进行attach操作(如果volume plugin是ceph-csi,external-attacher组件watch到volumeAttachment对象的新建后,只是修改该对象的状态属性,不会做attach操作,真正的attach操作由kubelet中的volume manager调用volume plugin ceph-csi来完成)。
(10)csi-plugin ControllerServer进行attach操作,将volume挂载到pod所在node节点,成为如/dev/vdb的设备。
(11)(12)attach操作完成后,volume manager watch到pod声明的volume没有进行mount操作,将调用csi-mounter来做mount操作。
(13)csi-mounter调用csi-plugin NodeServer进行mount操作,将node节点上的第(10)步得到的/dev/vdb设备挂载到指定目录。

kubernetes存储相关操作流程具体分析(out-of-tree volume plugin,以ceph-csi为例)

下面来看下kubernetes通过out-of-tree volume plugin来创建/删除、挂载/解除挂载volume的流程。

下面先对每个操作的整体流程进行分析,后面会对涉及的每个组件进行源码分析。

1. 存储创建

流程图

流程分析

(1)用户创建pvc对象;

(2)pv controller监听pvc对象,寻找现存的合适的pv对象,与pvc对象绑定。当找不到现存合适的pv对象时,将更新pvc对象,添加annotation:volume.beta.kubernetes.io/storage-provisioner,让external-provisioner组件开始开始创建存储与pv对象的操作;当找到时,将pvc与pv绑定,结束操作。

(3)external-provisioner组件监听到pvc的新增事件,判断pvc的annotation:volume.beta.kubernetes.io/storage-provisioner的值,即判断是否是自己来负责做创建操作,是则调用ceph-csi组件进行存储的创建;

(4)ceph-csi组件调用ceph创建底层存储;

(5)底层存储创建完成后,external-provisioner根据存储信息,拼接pv对象,创建pv对象;

(6)pv controller监听pvc对象,寻找合适的pv对象,与pvc对象绑定。

2. 存储扩容

流程图

流程分析

(1)修改pvc对象,修改申请存储大小;

(2)修改成功后,external-resizer监听到该pvc的update事件,发现pvc.Spec.Resources.Requests.storgage比pvc.Status.Capacity.storgage大,于是调csi controller端扩容,进行底层存储扩容,扩容完毕后更新pv对象的.Spec.Capacity.storgage;

(3)kubelet的volume manager在reconcile()调谐过程中发现pv.Spec.Capacity.storage大于pvc.Status.Capacity.storage,于是调csi node端扩容,对dnode上存储对应的文件系统扩容,成功后kubelet更新pvc.Status.Capacity.storage。

3. 存储挂载

流程图

kubelet启动参数--enable-controller-attach-detach,该启动参数设置为 true 表示启用 Attach/Detach controller进行Attach/Detach 操作,同时禁用 kubelet 执行 Attach/Detach 操作(默认值为 true)。实际上Attach/Detach 操作就是创建/删除VolumeAttachment对象。

(1)kubelet启动参数--enable-controller-attach-detach=true,Attach/Detach controller进行Attach/Detach 操作

(2)kubelet启动参数--enable-controller-attach-detach=false,kubelet端volume manager进行Attach/Detach 操作

流程分析

(1)用户创建一个挂载了pvc的pod;

(2)AD controller或volume manager中的reconcile()发现有volume未执行attach操作,于是进行attach操作,即创建VolumeAttachment对象;

(3)external-attacher组件list/watch VolumeAttachement对象,更新VolumeAttachment.status.attached=true;

(4)AD controller更新node对象的.Status.VolumesAttached属性值,将该volume记为attached;

(5)kubelet中的volume manager获取node.Status.VolumesAttached属性值,发现volume已被标记为attached;

(6)于是volume manager中的reconcile()调用ceph-csi组件的NodeStageVolume与NodePublishVolume完成挂载。

4. 解除存储挂载

流程图

(1)AD controller

(2)volume manager

流程分析

(1)用户删除声明了pvc的pod;

(2)AD controller或volume manager中的reconcile()发现有volume未执行dettach操作,于是进行dettach操作,即删除VolumeAttachment对象;

(3)AD controller或volume manager等待VolumeAttachment对象删除成功;

(4)AD controller更新新node对象的.Status.VolumesAttached属性值,将标记为attached的该volume从属性值中去除;

(5)kubelet中的volume manager获取node.Status.VolumesAttached属性值,找不到相关的volume信息;

(6)于是volume manager中的reconcile()调用ceph-csi组件的NodeUnpublishVolume与NodeUnstageVolume完成解除挂载。

5. 删除存储

流程图

流程分析

(1)用户删除pvc对象;

(2)pv controller发现与pv绑定的pvc对象被删除,于是更新pv的状态为released;

(3)external-provisioner watch到pv更新事件,并检查pv的状态是否为released,以及回收策略是否为delete;

(4)接下来external-provisioner组件会调用ceph-csi的DeleteVolume来删除存储;

(5)ceph-csi组件的DeleteVolume方法,调用ceph集群命令,删除底层存储;

(6)external-provisioner组件删除pv对象。

以上是关于k8s通过ceph-csi接入存储的概要分析的主要内容,如果未能解决你的问题,请参考以下文章

K8S使用ceph-csi持久化存储之RBD

ceph-csi源码分析-rbd driver-controllerserver分析

k8s client-go源码分析 informer源码分析-概要分析

cephfs目录共享给多个pod使用

ceph-csi源码分析-cephfs driver分析

ceph-csi源码分析-rbd driver-IdentityServer分析