rancher2.3.2设置使用ceph的rbd（笔记）

Posted 2023-03-22

参考技术A 本人算是使用ceph和rancher的小白，最近因为某些原因开始研究rancher以及在rancher中使用ceph，查找了好些资料，发现网上的资料一般是针对比较懂的人看的，或者是旧版本的rancher，对我这种小白来说属于看了一知半解，具体应用又是茫然的。不过好在把各种资料拼凑后，通过实验验证成功了，在这里把自己的笔记写下来供大家参考。
一、前提：安装好rancher与ceph，具体方法网上都能搜到，这里略过，不具体讲了。

二、本次实验版本是rancher2.3.2与ceph( nautilus 14.2.4)

三、1、第一步：密文的建立，这里有个坑，直接通过UI建起的密文，ceph filesystem可以用，但ceph rbd不能用。因为根据官方的说明文档，要使用rbd，密文的类型必须是kubernetes.io/rbd,可是rancher的UI建立密文是没这个选项的，默认是Opaque的，想通过api或yaml改也不成，UI不认。这里必须使用命令的方法来创建：以下为一个例子(key值请换为自己的）。

kubectlcreate secret generic ceph-admin-secret-rbd --from-literal=key=' ' --namespace=default--type=kubernetes.io/rbd

使用命令的入口就是rancher集群仪表盘的“执行kubectl命令行”

建立密文有2点注意：（1）要给使用密文的每一个命名空间建立相应的密文  （2）命令行中ceph-admin-secret是密文的名称，key来源于ceph的/etc/ceph/ceph.client.admin.keyring的KEY原值，K8S里是要求把这个值转化后用，但rancher2.3.2自己会去转化，所以这里直接使用原生值。namespace是命名空间，这个必须事先存在的。type必须是kubernetes.io/rbd

2、第二步，在集群--存储--存储类里添加类，如下图。

3、第三步，建立PVC。到集群-default-工作负载--PVC，

当PVC显示为Bound状态以及出现了大小值，则表示这个PVC建立成功了。同时也可以在ceph上看到相应的images.

这是在ceph上看的。

参考资料：

https://blog.csdn.net/weixin_30460489/article/details/97578940

https://blog.csdn.net/HYZX_9987/article/details/103636488

rancher2 挂载ceph-rbd

 

一-创建ceph-secret.yml文件

 

RBD的KEY查看

ceph auth list

复制 client.admin 的key 并使用base64加密

创建ceph-secret.yml

kubectl apply -f ceph-secret.yml

查看 kubectl get secret

StarageClass创建

 

monitors 地址查看

ceph -s

adminSecretName:查看

kubectl get secret

NAME kubernetes.io/rbd

pool查看

ceph osd lspools

默认只有rbd一个

创建stroageclass

kubectl apply -f ceph-stroageclass.yml