Ceph 14 分布式存储部署步骤注意事项

Posted 2021-04-19 学习大CEPH

部署环境
    ceph版本：14.2.2
    OS：centos 7.6

准备工作
  修改主机名   比如ceph001,ceph002....
  修改集群中每个服务器/etc/hosts文件，将其他主机名添加进来，
  cat /etc/hosts
192.168.56.101          ceph001
192.168.56.102          ceph002
192.168.56.103          ceph003
    
 关闭防火墙和selinux

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

NTP同步时间
sudo yum install ntp -y
sudo start ntpd.service
sudo enable ntpd.service



配置yum 软件仓库源
删掉  /etc/yum.repo.d/ *.repo  文件。
CentOS 7 源设置   
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

 epel 仓库源

wget -O /etc/yum.repos.d/epel.repo  http://mirrors.aliyun.com/repo/epel-7.repo

编辑 Ceph.repo源：

[ceph-nautilus]
name=ceph-nautilus
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/x86_64/
enabled=1
gpgcheck=0
[ceph-nautilus-noarch]
name=ceph-nautilus-noarch
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch/
enabled=1
gpgcheck=0

软件安装

运行  yum  clean all, yum makecache生成缓存

yum install ceph-14.2.2-0.el7   ceph-deploy

每个主机安装 ceph ,    yum install ceph

Admin节点安装    

  yum install ceph-deploy 

 
开始搭建集群

在admin节点， 建立ceph-cluster目录
 mkdir ceph-cluster && cd ceph-cluster
 注意：在以后的部署过程中，一定不要离开此目录 ，否则会失败。
    
       
部署mon
  ceph-deploy new ceph001 ceph002 ceph003
 上面的ceph001 ceph002 ceph003都是主机名， ceph-mon服务将要部署到三个服务器上。
部署初始化mon 和 准备keys
 ceph-deploy   --overwrite-conf  mon create-initial重启   systemctl   restart/start/stop  ceph-mon@host
    
  配置admin key 到每个节点
    ceph-deploy admin ceph101 ceph102 ceph103



 部署mgr
    在部署完mon之后，就要部署 mgr
    ceph-deploy mgr create  host172（主机名）
    启动服务   systemctl   restart/start/stop  ceph-mgr@host



部署OSD
 部署之前要先确认 mgr 部署启动成功
先找到系统盘，别部署到系统盘上了。  确认需要部署的哪些磁盘 /dev/sdx。  先检查是否已经有挂载，要卸载掉，  如果硬盘已经挂载，部署也出错。

部署命令如下，vdX代表硬盘编号，
ceph-deploy --overwrite-conf   osd create    --data /dev/vdX $HOSTNAME

 检查集群状态
            ceph -s
            HEALTH_OK
至此，集群部署完毕。


部署s3对象存储

单机的只需要在一台服务器上安装， 如果负载均衡，可以安装3台服务器。先安装rgw包    yum  install  ceph-radosgw  

部署命令如下

            ceph-deploy   --overwrite  rgw create  host173(主机名)
        查看启动端口为7480

  netstat -lntp | grep 7480

如果看到7480表示你的s3对象存储部署成功了。

如果要重启使用命令   systemctl   restart  ceph-radosgw@id

建立 s3 账号：

radosgw-admin user create --uid testid --display-name 'M. Tester'  

部署文件系

ceph-deploy mds create   node2 node3

部署完成mds 后， 在 ceph –s 看不到 mds , 直到  ceph fs  部署完成挂接到两个数据池后，才可以看到。

ceph osd pool create cephfs_data 64

ceph osd pool create cephfs_metadata 64

ceph fs new cephfs cephfs_metadata cephfs_data

mkdir /mnt/cephfs

mount -t ceph 192.168.0.1:6789:/ /mnt/cephfs -o name=admin,secret=AQAk4mdbIP70CBAAMtPNCyvUF38FMN 

故障以及错误处理：
部署时候如果遇到 rgw 失败，现实的日志为：
  0 ext_mime_map_init failed to open file=/etc/mime.types : (2) No such file or directory
7f709e8c48c0 -1 ERROR: unable to initialize rgw tools
这是因为没有  /etc/mime.types
需要安装   yum install mailcap