如何在 CentOS 7.0 上配置 Ceph 存储

Posted 2023-03-18

参考技术A 云存储系统具有良好的可扩展性、容错性，以及内部实现对用户透明等特性，这一切都离不开分布式文件系统的支撑。现有的云存储分布式文件系统包括GFS、HDFS、Lustre、FastDFS、PVFS、GPFS、PFS、Ceph和TFS等。

CentOS7安装Ceph

CentOS 7 下安装Ceph-nautilus

本问主要记录在CentOS 7下如何安装Ceph-nautilus，安装过程中遇到的一些问题及解决方法。

实验准备

以下是本次实验所用到的机器（采用的是虚拟机）的配置：

系统	内核版本	IP地址	Hostname	硬盘	角色
CentOS 7.6.1810	5.2.8	192.168.15.130	node0	/dev/sdb 20G	admin
CentOS 7.6.1810	5.2.8	192.168.15.128	node1	/dev/sdb 20G	osd
CentOS 7.6.1810	5.2.8	192.168.15.129	node2	/dev/sdb 20G	osd
CentOS 7.6.1810	5.2.8	192.168.15.137	node3	/dev/sdb 20G	osd

1. 更换国内源

因为CentOS系统默认使用的是国外的源，可能会影响安装，所以需要替换为国内的源。这里使用的都是阿里云 。

• 替换yum源

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
sed -i -e ‘/mirrors.cloud.aliyuncs.com/d‘ -e ‘/mirrors.aliyuncs.com/d‘ /etc/yum.repos.d/CentOS-Base.repo
yum clean up && yum makecache && yum update -y

• 配置Ceph安装源

设置环境变量，使ceph-deploy使用阿里源。编辑~/.bashrc，添加以下内容：

export CEPH_DEPLOY_REPO_URL=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7
export CEPH_DEPLOY_GPG_URL=http://mirrors.aliyun.com/ceph/keys/release.asc

1. 更新系统

yum update -y

1. 关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

1. 时间同步　　

• admin节点　　

yum install -y ntp

编辑/etc/ntp.conf文件，注释以下内容：　　

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

添加以下内容：　　

server  127.127.1.0 prefer
fudge   127.127.1.0 stratum 8
restrict 192.168.15.130 mask 255.255.255.0 nomodify notrap

重启ntp服务：　　

systemctl restart ntpd

• 其余节点　　

yum install -y ntpdate

编辑/etc/ntp.conf文件，内容如下：　　

192.168.15.130  node0

同步：　　

ntpdate node0

安装Ceph（在admin节点操作）

安装ceph-deploy

yum install -y https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch/ceph-deploy-2.0.1-0.noarch.rpm

安装Ceph

ceph-deploy install node0 node1 node2 node3

添加管理节点（mon）

ceph-deploy new node0 node1 node2

添加监控节点

ceph-deploy mon create-initial

创建ceph管理进程服务

ceph-deploy mgr create node0 node1 node2 node3

创建OSD节点

ceph-deploy osd create --data /dev/sdb node0
ceph-deploy osd create --data /dev/sdb node1
ceph-deploy osd create --data /dev/sdb node2
ceph-deploy osd create --data /dev/sdb node3

启用dashboard

# 自 nautilus开始，dashboard作为一个单独的模块独立出来了，使用时需要单独安装
yum install -y ceph-mgr-dashboard

# 启用dashboard
ceph mgr module enable dashboard　--force

#　默认启用SSL/TLS，所以需要创建自签名根证书
ceph dashboard create-self-signed-cert

# 创建具有管理员角色的用户　　
ceph dashboard ac-user-create admin admin administrator

# 查看ceph-mgr服务
ceph mgr services 

    "dashboard": "https://node0:8443/"

可能遇到的问题

1. 执行命令ceph-deploy install node0 node1 node2 node3时报错ImportError: No module named pkg_resources

解决方法：

yum install epel-release -y
yum install python2-pip* -y