ceph版本-jewel,osd用sas盘,ssd做journal

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ceph版本-jewel,osd用sas盘,ssd做journal相关的知识,希望对你有一定的参考价值。

参考技术A 本例环境:

sdb sdc sdd 做osd磁盘

sde(ssd盘)做jornal盘,提前用分区工具划分好磁盘三个区,sde1 sde2 sde3

用ssd盘来journal ,命令执行如下

1.格式化磁盘

# ceph-deploy disk zap ceph1:sdb ceph1:sdc ceph1:sdd  #sdb sdc sdd为需要格式化的磁盘

2.准备osd

# ceph-deploy --overwrite-conf osd prepare ceph1:sdb:/dev/sde1 ceph1:sdc:/dev/sde2 ceph1:sdd:/dev/sde3

3.修改用来做jornal盘的权限

chown ceph:ceph /dev/sde1

chown ceph:ceph /dev/sde2

chown ceph:ceph /dev/sde3

4.激活osd

# ceph-deploy --overwrite-conf osd activate ceph1:sdb1:/dev/sde1 ceph1:sdc1:/dev/sde2 ceph1:sdd1:/dev/sde3

5.注意点:每次重启机器后需要重新窒息感修改用来做jornal盘的权限的命令(重启后每次需要手动启动)

# chown ceph:ceph /dev/sde1

# chown ceph:ceph /dev/sde2

# chown ceph:ceph /dev/sde3

或者是编辑/etc/rc.local文件加入

vi /etc/rc.local

/usr/bin/chown ceph:ceph /dev/sde1

/usr/bin/chown ceph:ceph /dev/sde2

/usr/bin/chown ceph:ceph /dev/sde3

要注意的是在centos7中,/etc/rc.local文件默认没有可执行权限

需要加入可执行权限

# ll /etc/rc.local

lrwxrwxrwx. 1 root root 13 Sep  4 16:01 /etc/rc.local -> rc.d/rc.local

# ll /etc/rc.d/rc.local

-rw-r--r--. 1 root root 507 Sep  7 21:51 /etc/rc.d/rc.local  # 没有可执行的权限

增加可执行权限

# chmod +x /etc/rc.d/rc.local

错误处理:

用ssd盘来journal,格式分区权限问题.报错,如下所示:

[ceph-node2][WARNIN] ceph_disk.main.FilesystemTypeError: Cannot discover filesystem type: device /dev/sdc: Line is truncated:

[ceph-node2][ERROR ] RuntimeError: command returned non-zero exit status: 1

[ceph_deploy][ERROR ] RuntimeError: Failed to execute command: /usr/sbin/ceph-disk -v activate --mark-init systemd --mount /dev/sdc

在报错的节点上执行下面命令

[root@ceph-node3 ~]# ceph-disk activate-all

或者是查看ceph osd的日志文件:

# cat /var/log/ceph/ceph-osd.0.log

2017-10-19 05:28:41.962892 7fefcd45f800 -1 filestore(/var/lib/ceph/osd/ceph-0) mount failed to open journal /var/lib/ceph/osd/ceph-0/journal: (13) Permission denied

2017-10-19 05:28:41.963240 7fefcd45f800 -1 osd.0 0 OSD:init: unable to mount object store

2017-10-19 05:28:41.963248 7fefcd45f800 -1  ** ERROR: osd init failed: (13) Permission denied

发现,权限有问题无法启动osd盘

解决办法:

增加用户和磁盘的权限,重启后也需要增加

#  chown ceph:ceph /dev/sdb2

ceph换盘操作

参考技术A title: ceph换盘操作
date: 2020-03-11 10:23:44
tags: ceph

1、确保删除OSD时,集群没有接近near full

2、检查删除OSD时,是否有数据丢失, ceph osd ok-to-stop osd-num

3、标记OSD out, ceph osd out osd-num

4、停止OSD进程, systemctl stop ceph-osd@osd-num

5、从crush map中删除OSD, ceph osd purge osd-num --yes-i-really-mean-it

6、从ceph.conf中删除OSD

7、卸载OSD挂载点, umount /var/lib/ceph/osd/ceph-osd-num

8、删除/var/lib/ceph/osd/ceph-osd-num/目录

9、换盘后,重新添加OSD

以上是关于ceph版本-jewel,osd用sas盘,ssd做journal的主要内容,如果未能解决你的问题,请参考以下文章

ceph 硬件选型、性能调优(*)

ceph Luminous crush device class(crush 设备分类)

深入理解ceph-disk运行机制

ceph换盘操作

Ceph:添加新的OSD节点

ceph SSD HDD分离与openstack调用