使用ceph-deploy安装L版开源存储

配置时间服务器、做本地免密、设置防火墙的策略、配置selinux(略)

配置yum源（开源ceph安装需要依赖于base、epel和ceph源）

修改base源
# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

修改epel源

# wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

配置ceph源

# cat << EOM > /etc/yum.repos.d/ceph.repo
[ceph-x86_64]
name=Ceph x86_64 packages
baseurl=https://download.ceph.com/rpm-luminous/el7/x86_64/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

[ceph-noarch]
name=Ceph noarch packages
baseurl=https://download.ceph.com/rpm-luminous/el7/noarch/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
EOM

建立元数据缓存

# yum clean all && yum makecache

安装ceph包(ceph-deploy >= 2.0.1)

# yum -y install ceph-deploy ceph

部署ceph集群

# cd /etc/ceph/

# ceph-deploy new $HOSTNAME

修改配置文件

# vim ceph.conf

osd pool default size = 1

osd pool default min size = 1

mon osd max split count = 1024

mon max pg per osd = 512

mon allow pool delete = true

部署初始化监视器生产密钥

# ceph-deploy mon create-initial

部署mgr

# ceph-deploy mgr create $HOSTNAME

开启dashboard（非必须步骤）（以下为L版本步骤）

# ceph mgr module enable dashboard

# ceph config-key set mgr/dashboard/server_addr X.X.X.X

# ceph config-key set mgr/dashboard/server_port 8443

重启ceph让配置文件生效(这里重启是为了让上面的配置文件和配置的dashbord的配置生效，故重启的ceph.target)

# systemctl restart ceph.target

查询URL

# ceph mgr services

（通过命令查看URL后，在浏览器打开即可，L版本UI没有密码）

拷贝密钥(如果有多个节点需要同步密码,非必须步骤)

# ceph-deploy admin $HOSTNAME2 $HOSTNAME3

创建osd

# ceph-deploy osd create --data /dev/sdb $HOSTNAME

（报错“error: GPT headers found, they must be removed on: /dev/sdb”，使用“# sgdisk --zap-all /dev/sdb”解决）

删除osd(0为osd的号码)

# systemctl stop ceph-osd@0

# ceph osd purge osd.0 --yes-i-really-mean-it

删除lvm

# lvdisplay 查看

# lvremove /dev/ceph-265dddd7-ef18-42f7-869e-58e669638032/osd-data-3fa4b9df-6a59-476a-8aaa-4138b29acce9 删除

# ceph-deploy disk zap $HOSTNAME /dev/sdb 格式化磁盘

创建存储池（pg及pgp个数根据实际填写,单副本每个osd不要超过100个pg，多副本，osd个数*100/副本数）

# ceph osd pool create mytest 256 256

如果创建pg过多会触发告警的BUG，（https://tracker.ceph.com/issues/24687），减少pg/pgp数即可。

设置pool的类型

# ceph osd pool application enable mytest rbd

创建卷

# rbd create -s 100M mytest/rbd-test

清除ceph集群，并卸载安装包

# ceph-deploy purge $HOSTNAME