在rhel7中的ceph存储集群搭建的具体步骤

Posted 2021-01-12

ceph是一种可以提供存储集群服务的软件

它可以实现将主机做成存储集群，并提供分布式文件存储的功能
ceph服务可以提供三种存储方式：
    1.块存储
    2.对象存储
    2.文件系统存储

这里我将介绍如何使用ceph搭建一个存储集群：

环境介绍：

    node1 node2 node3 这三台主机作为存储集群服务器，分别都有3块10G的硬盘，并且我会将node1及作为存储服务器也作为管理主机(管理存储服务器的服务器)
    将client作为访问的客户端
    node1 node2 node3这第三台服务器要配置NTP同步服务，同步client的NTP服务，分别配置yum源以及node1免密以及/etc/hosts文件

1.环境配置，这里部分简单的就省略了：

(1)配置/etc/hosts文件，实现本机的域名解析

[[email protected] ~]# cat /etc/hosts      #切忌不要将本机的回环地址删了，只需要添加命令即可，不要删东西
    192.168.4.50 client
    192.168.4.51 node1
    192.168.4.52 node2
    192.168.4.53 node3

为了方便要保证node2 node3 这两台主机上的/etc/hosts文件都是有这些命令的
(2)在node1管理主机上配置免密操作：

[[email protected] ~]# ssh-keygen -N ‘‘ -f /root/.ssh/id_rsa
[[email protected] ~]# ssh-copy-id node1
[[email protected] ~]# ssh-copy-id node2
[[email protected] ~]# ssh-copy-id node3
[[email protected] ~]# ssh-copy-id client

(3)拷贝yum源为其他主机，保证每个主机上的yum源都有需要安装的软件包

[[email protected] ~]# scp /etc/yum.repos.d/ceph.repo node2
[[email protected] ~]# scp /etc/yum.repos.d/ceph.repo node3
[[email protected] ~]# scp /etc/yum.repos.d/ceph.repo client

2.在node1管理主机上创建存储集群的功能目录以及配置集群

(1)在node1上安装提供存储集群服务的软件包 ceph-deploy.noarch

 [[email protected] ~]# yum -y install ceph-deploy.noarch

(2)在node1管理主机上创建一个自定义目录ceph-cluster

        [[email protected] ~]# mkdir ceph-cluster
        [[email protected] ~]# cd ceph-cluster

(3)指定node1 node2 node3为存储集群服务器，创建存储集群服务器

        [[email protected] ceph-cluster]# ceph-deploy new node1 node2 node3     #这里耐心等待，会花一段时间

(4)为所有的存储集群服务器安装ceph-deploy工具

        [[email protected] ceph-cluster]# ceph-deploy install node1 node2 node3

(5)为所有集群初始化monitor这个监控程序

        [[email protected] ceph-cluster]# ceph-deploy mon create-initial

(6)为node1 node2 node3将/dev/vdb分两个区，作为/dev/vdc /dev/vdd这两块磁盘的日志盘

        [[email protected] ceph-cluster]# parted /dev/vdc mktable gpt mkpart primary 1M 50%
        [[email protected] ceph-cluster]# parted /dev/vdc mkpart primary 50% 100%
        [[email protected] ~]# parted /dev/vdc mktable gpt mkpart primary 1M 50%
        [[email protected] ~]# parted /dev/vdc mkpart primary 50% 100%
        [[email protected] ~]# parted /dev/vdc mktable gpt mkpart primary 1M 50%
        [[email protected] ~]# parted /dev/vdc mkpart primary 50% 100%

(7)为日志盘设置归属，保证ceph用户后续存放日志才有权限

        [[email protected] ceph-cluster]# chown ceph:ceph /dev/vdc*
        [[email protected] ~]# chown ceph:ceph /dev/vdc*       #这些是临时设置，要想重启也有效需要写到/etc/rc.local文件下并且服务x权限
        [[email protected] ~]# chown ceph:ceph /dev/vdc*
            永久设置：以node2为例
                [[email protected] ~]# echo "chown ceph:ceph /dev/vdc*" >> /etc/rc.local
                [[email protected] ~]# chmod +x /etc/rc.local

(8)在node1管理主机上格式化所有需要共享的磁盘/dev/vdb /dev/vdd #这些都是在node1管理主机上操作的

        [[email protected] ceph-cluster]# ceph-deploy disk zap node1:vdb node1:vdd
        [[email protected] ceph-cluster]# ceph-deploy disk zap node2:vdb node2:vdd
        [[email protected] ceph-cluster]# ceph-deploy disk zap node3:vdb node3:vdd

(9)创建osd磁盘，这些也都是在管理主机上做就可以了

        [[email protected] ceph-cluster]# ceph-deploy osd create node1:vdb:/dev/vdc1 node1:vdd:/dev/vdc2
        [[email protected] ceph-cluster]# ceph-deploy osd create node2:vdb:/dev/vdc1 node2:vdd:/dev/vdc2
        [[email protected] ceph-cluster]# ceph-deploy osd create node3:vdb:/dev/vdc1 node3:vdd:/dev/vdc2

3.ceph存储集群就搭建好了，这里使用ceph -s命令检查状态，只有是OK才是正常的

        [[email protected] ceph-cluster]# ceph -s
        cluster e9877c9f-d0ca-40c6-9af4-19c5c9dea10c
        health HEALTH_OK
        .......
        [[email protected] ceph-cluster]# ceph osd lspools                 #创建存储集群后默认会为我们自动创建一个存储池
        0 rbd,