#yyds干货盘点#快速搭建ceph集群

Posted 2022-02-22 峰啊疯了

1.cpeh节点

虚拟机跟物理机都可以

ip	name	node
192.168.11.1	ceph01	master
192.168.11.2	ceph02	slave
192.168.11.3	ceph03	slave

192.168.11.1 ceph01
    192.168.11.1 ceph02
    192.168.11.3 ceph03
    
    echo "192.168.11.1 ceph01" >> /etc/hosts &&
    echo "192.168.11.2 ceph02" >> /etc/hosts &&
    echo "192.168.11.3 ceph03" >> /etc/hosts
    
    修改hostname 三台机器对应修改
    hostnamectl set-hostname ceph01

2.更换yum源（所有节点）

yum install wget -y
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
&& 
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
&&
wget -O /etc/yum.repos.d/ceph.repo https://raw.githubusercontent.com/aishangwei/ceph-demo/master/ceph-deploy/ceph.repo

3.ssh免密登录设置（master节点）

ssh-keygen 
ssh-copy-id root@ceph01
ssh-copy-id root@ceph02
ssh-copy-id root@ceph03

//清除免密
ssh-keygen -R ceph01

4.安装ceph—deploy跟ceph

yum install ceph-deploy ceph python-setuptools -y （主节点）
    yum install ceph python-setuptools -y （slave节点）
    ceph -v

必须保证ceph版本一致，不然后续使用会有问题，

最新版本13.2.10

 5.创建mon（master节点）

//每个节点都创建目录，不存在创建，存在则进入
mkdir /etc/ceph
cd /etc/ceph
ceph-deploy new ceph01 ceph02 ceph03
ceph-deploy install ceph01 ceph02 ceph03 //安装过程中出现ca证书问题 请看我另外一篇文章
ceph-deploy mon create-initial
ceph -s

6.创建osd（master节点）

先创建三块盘给三台机器挂载上，物理机类似都是创建盘挂载(我用的虚拟机)

cd /home/vm/disk //没有该目录，自己创建，或者更换目录
qemu-img create -f raw /home/vm/disk/vm1-d1.img 100G
qemu-img create -f raw /home/vm/disk/vm2-d1.img 100G
qemu-img create -f raw /home/vm/disk/vm3-d1.img 100G

//vm1作为挂载示例（vm2、vm3同）
//挂载前先关闭虚拟机
virsh destroy vm1
virsh edit vm1
//添加配置
<disk type=file device=disk>     
  <driver name=qemu type=raw cache=none/>      
  <source file=/home/vm/disk/vm1-d1.img/>      
  <target dev=vdb bus=ide/>    
</disk>
virsh start vm1
//登录vm1（master节点）
ssh vm1
fdisk -l
// 格式化磁盘
mkfs -t xfs /dev/sda

ceph-deploy osd create --data /dev/sda ceph01
ceph-deploy osd create --data /dev/sda ceph02
ceph-deploy osd create --data /dev/sda ceph03
ceph-deploy mgr create ceph01 ceph02 ceph03

7.查看ceph状态

ceph -s
ceph health detail
//出现时间问题，请做时间同步
//修改ntp时间
yum install ntpdate -y

ntpdate cn.pool.ntp.org
ntpdate ceph01 
//重启mon服务
systemctl restart ceph-mon.target &&
systemctl restart ceph-osd.target

8.删除ceph 

安装过程中出现实在无法解决的问题可以选择重装

yum remove ceph-deploy ceph python-setuptools -y （主节点）
  yum remove ceph python-setuptools -y （所有节点）
  rm -rf /etc/ceph

9.安装可视化界面

ceph config set mgr mgr/dashboard/ssl false
ceph config-key put mgr/dashboard/server_port 8080
ceph mgr services

具体的见我dashboard这篇文章