三节点ceph分布式存储集群部署

Posted 2021-04-19 雷十八1982

科技在发展，日新月异。

分布式存储的概念出来之后，就可以彻底摒弃传统存储，在价格、高可用、高负载、高性能上都有显著的提高。

ceph分布式存储支持市面上主流的存储方式：块存储、文件存储、对象存储。

为体会ceph分布式存储，笔者在vmware虚拟机上搭建了三节点实验环境。

集群结构图如下：

其中ceph_cluster为参考互联网上网友文章搭建的五节点ceph分布式存储集群。ceph_official_cluster为参考ceph官方文档搭建的三节点分布式存储集群。这里以参考ceph官方文档搭建的三节点分布式存储集群环境为例。

虚拟机基本配置如下：

官方文档中，使用了CentOS6.5版本的操作系统，ceph版本为emperor：

我这里用到的操作系统为CentOS7.8，ceph版本为luminous稳定版：

规划如下：

三台虚拟机，每台虚拟机五块磁盘，其中50GB的磁盘作为操作系统本身使用，另外四块10GB磁盘作为分布式存储。通过12块10GB磁盘构建一个120GB的资源池，然后在资源池上构建不同的存储方式。下面是具体构建过程：

1，操作系统使用的CentOS7.8模板，模板中提前关闭了防火墙和selinux。

192.168.18.28 ceph-node1

192.168.18.29 ceph-node2

192.168.18.30 ceph-node3

其中ceph-node1用于集中管理和监控部署，ceph-node2和ceph-node3作为子节点。

2，在ceph-node1上构建公钥和私钥，然后配置免密登录：

[root@ceph-node1 ~]# ssh-keygen

[root@ceph-node1 ~]# ssh-copy-id ceph-node2

[root@ceph-node1 ~]# ssh-copy-id ceph-node3

3，使用阿里云的yum源替换默认yum源：

4，安装ceph-deploy插件以及部署第一个节点：

[root@ceph-node1 yum.repos.d]# yum install ceph-deploy

[root@ceph-node1 yum.repos.d]# ceph-deploy new ceph-node1

5，每个节点上安装ceph和ceph-radosgw（根据网速的好坏，这里大概要耗费接近一个小时时间）：

[root@ceph-node1 ceph]# yum install ceph ceph-radosgw -y

[root@ceph-node2 ~]# ceph --version

ceph 

version 12.2.13 (584a20eb0237c657dc0567da126be145106aa47e) luminous (stable)

安装结束后，通过ceph --version确认ceph版本。

6，创建第一个监控节点，这里将监控节点安装在ceph-node1上：

7，查看集群状态（要配置三节点之间的时间同步）：

8，查看各节点上的可用磁盘信息：

9，赋予各个节点使用命令免用户名权限：

10，安装ceph-mgr，这里也安装到ceph-node1节点。值得注意的是，在官方《learning ceph》文档中，还没有dashboard组件，新版本提供了这个功能：

11，添加osd磁盘并查看状态：

12，修改ceph-conf文件以便可以增加多节点监控功能：

13，推送配置文件到其他节点：

14，增加监控节点并查看状态：

15，添加另外两个节点的磁盘到osd中：

添加成功后，通过ceph status可以看到监控为3个节点，磁盘数量增加到九个：

16，创建管理域密匙：

17，开启管理域：

18，通过浏览器访问：

对于可能出现的时间偏差问题，dashboard中会出现告警：

这个问题同样可以通过修改ceph.conf配置文件来解决：

除了仪表盘，也可以通过ceph status命令来查看集群状态是否为ok：

集群搭建成功之后，就可以进行后续的操作。比如创建资源池，在资源池中划分磁盘用于块存储、文件存储及对象存储使用。