ceph存储扩容（新盘新建存储池）

Posted 2021-01-19

1、换上新盘后先使用命令做raid
2、ceph创建新存储池（注：需要在存储安装完成后操作）
2.1修改/etc/ceph/ceph查看是否关闭自动生成crushmap

若已经关闭，则无需其他操作；
若没有关闭，关闭后需重启ceph的服务使其生效
[[email protected] ~]# systemctl restart ceph.target
2.2新建目录扩区当前集群应用的crushmap
[[email protected] ~]# mkdir /root/cluster/
[[email protected] ~]# cd /root/cluster/
[[email protected] cluster]# ceph osd getcrushmap -o crush.map
2.3反编译crush.map,并另存为为crush1.map
[[email protected] cluster]# crushtool -d crush.map -o crush1.map
2.4vim编辑crush1.map,新建存储池（建一个空池）

编辑新建桶的信息：host——rack——room——datacenter——root（建桶时不加盘符）

编辑rule规则

2.5编译crush1.map，另存为crush2.map
[[email protected] cluster]# crushtool -c crush1.map -o crush2.map
2.6将crush2.map应用到集群中
[[email protected] cluster]# ceph osd setcrushmap -i crush2.map
3、新建ceph存储池
[[email protected] cluster]# ceph osd pool create poolname pg_num
[[email protected] cluster]# ceph osd pool set poolname crush_ruleset 2（要和crushmap里一致）
注：poolname：自定义存储池名称；
pg_num取值如下：

或者通过[[email protected] cluster]# ceph osd dump | grep size来进行参考
4.配置cinder多后端存储（注：需要在平台部署完成后操作）（在控制节点配置）
4.1修改 /etc/cinder/cinder.conf配置文件，
[[email protected] cluster]# vi /etc/cinder/cinder.conf
添加新存储池类型，此处以saspool为例；

添加新存储池字段，以saspool为例

4.2重启cinder服务
[[email protected] cluster]# systemctl restart openstack-cinder-*
5、创建新存储saspool的cinder卷类型
[[email protected] cluster]# cinder type-create saspool
6、查看是否创建成功

7、创建成功后设置卷类型的key键值
[[email protected] cluster]# cinder type-key saspool或id set volume_backend_name=saspool
8、再次重启cinder服务
[[email protected] cluster]# systemctl restart openstack-cinder-*
9、查看是否设置成功

至此ceph创建新存储池已经与cinder绑定多后端以完成，接下在就是添加新的osd至ceph集群中

---

10、现在新osd所在节点lsblk查看盘符

11、使用ceph-disk zap 初始化已经识别的硬盘（都要初始化）

12、使用ceph-disk prepare对初始化过的硬盘做预处理

13、预处理完成后lsblk检查是否以挂载

14、使用ceph-disk activate对预处理过的硬盘做激活处理
[[email protected] ~]# ceph-disk activate /dev/sdh
15、检查ceph集群状态以及osd情况

16、获取当前集群应用的crushmap，并另存为crush.map
[[email protected] cluster]# ceph osd getcrushmap -o crush.map
17、反编译crush.map,并另存为crush1.map
[[email protected] cluster]# crushtool -d crush.map -o crush1.map
2.4vim编辑crush1.map,新建存储池
此时进行添加设备，修改权重值等信息；
18、编译crush1.map，另存为crush2.map
[[email protected] cluster]# crushtool -c crush1.map -o crush2.map
19、将crush2.map应用到集群中
[[email protected] cluster]# ceph osd setcrushmap -i crush2.map
20、检查集群状态以及osd情况
21、前往平台测试即可

---