ceph文件系统安装配置

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ceph文件系统安装配置相关的知识,希望对你有一定的参考价值。

ceph文件系统安装配置

 

1     前言

Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。

l  Ceph OSDs: Ceph OSD 守护进程( Ceph OSD )的功能是存储数据,处理数据的复制、恢复、回填、再均衡,并通过检查其他OSD 守护进程的心跳来向 Ceph Monitors 提供一些监控信息。当 Ceph 存储集群设定为有2个副本时,至少需要2个 OSD 守护进程,集群才能达到active+clean 状态( Ceph 默认有3个副本,但你可以调整副本数)。

l  Monitors: Ceph Monitor维护着展示集群状态的各种图表,包括监视器图、OSD 图、归置组( PG )图、和 CRUSH 图。 Ceph 保存着发生在Monitors 、 OSD 和 PG上的每一次状态变更的历史信息(称为 epoch )。

l  MDSs: Ceph 元数据服务器( MDS )为 Ceph 文件系统存储元数据(也就是说,Ceph 块设备和 Ceph 对象存储不使用MDS )。元数据服务器使得 POSIX 文件系统的用户们,可以在不对 Ceph 存储集群造成负担的前提下,执行诸如 ls、find 等基本命令。

2     安装配置

2.1  实验环境

操作系统:Centos 7 x64

IP

主机名

应用

192.168.8.10

ceph-deploy

控制台

192.168.8.11

ceph-mon1

监控1

192.168.8.12

ceph-mon2

监控2

192.168.8.13

ceph-mon3

监控3

192.168.8.14

ceph-osd0

数据0

192.168.8.15

ceph-osd1

数据1

192.168.8.16

ceph-osd2

数据2

192.168.8.17

ceph-mds

元数据

192.168.8.18

cephfs

客户端

2.2  安装配置ceph

192.168.8.10操作

2.2.1     yum环境

yuminstall -y yum-utils && yum-config-manager --add-repohttps://dl.fedoraproject.org/pub/epel/7/x86_64/ &&  yum install --nogpgcheck -y epel-release&&  rpm --import/etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 && rm /etc/yum.repos.d/dl.fedoraproject.org*

 

编辑yum源:

vim/etc/yum.repos.d/ceph.repo

[Ceph]

name=Ceph  packages for $basearch

baseurl=http://download.ceph.com/rpm-jewel/el7/$basearch

enabled=1

gpgcheck=1

type=rpm-md

gpgkey=https://download.ceph.com/keys/release.asc

priority=1

 

[Ceph-noarch]

name=Ceph  noarch packages

baseurl=http://download.ceph.com/rpm-jewel/el7/noarch

enabled=1

gpgcheck=1

type=rpm-md

gpgkey=https://download.ceph.com/keys/release.asc

priority=1

 

[ceph-source]

name=Ceph  source packages

baseurl=http://download.ceph.com/rpm-jewel/el7/SRPMS

enabled=1

gpgcheck=1

type=rpm-md

gpgkey=https://download.ceph.com/keys/release.asc

priority=1

 

安装ceph-deploy

yuminstall ceph-deploy

 

安装ntp

yuminstall ntp ntpdate ntp-doc

 

2.2.2     hosts文件

vi/etc/hosts

添加

192.168.8.10   ceph-deploy

192.168.8.11   ceph-mon1

192.168.8.12   ceph-mon2

192.168.8.13   ceph-mon3

192.168.8.14   ceph-node0

192.168.8.15   ceph-node1

192.168.8.16   ceph-node2

192.168.8.17   ceph-mds

192.168.8.18   cephfs

 

2.2.3     无密钥登录

ssh-keygen   一直回车

 

把公钥拷贝到各 Ceph 节点

[email protected]

[email protected]

[email protected]

[email protected]

[email protected]

[email protected]

[email protected]

[email protected]

[email protected]

2.2.4     创建集群

先在管理节点上创建一个目录,用于保存 ceph-deploy 生成的配置文件和密钥对。

mkdirmy-cluster

cdmy-cluster

ceph-deploy 会把文件输出到当前目录,所以请确保在此目录下执行后面的 ceph-deploy 相关命令

 

2.2.5     安装mon

在管理节点上,进入刚创建的放置配置文件的目录,用 ceph-deploy 执行如下步骤。

ceph-deploynew ceph-mon1 ceph-mon2 ceph-mon3

在当前目录下用 ls 和 cat 检查ceph-deploy 的输出,应该有一个 Ceph 配置文件、一个 monitor 密钥环和一个日志文件。

 

2.2.6     安装ceph

ceph-deployinstall ceph-deploy ceph-mon1 ceph-mon2 ceph-mon3 ceph-node0 ceph-node1ceph-node2 ceph-mds cephfs

ceph-deploy将在各节点安装Ceph 。 注:如果你执行过 ceph-deploy purge ,你必须重新执行这一步来安装 Ceph 。

 

2.2.7     初始化mon

配置初始 monitor(s)、并收集所有密钥:

ceph-deploymon create-initial

2.2.8     添加osd

添加OSD 。这次我们是把目录而非整个硬盘用于 OSD 守护进程(存储数据)。

ssh ceph-node0

mkdir/var/local/osd0

exit

 

sshceph-node1

mkdir/var/local/osd1

exit

 

sshceph-node2

mkdir/var/local/osd2

exit

 

然后,从管理节点执行 ceph-deploy 来准备 OSD 。

ceph-deployosd prepare ceph-node0:/var/local/osd0 ceph-node1:/var/local/osd1ceph-node2:/var/local/osd2

ceph-deployosd activate ceph-node0:/var/local/osd0 ceph-node1:/var/local/osd1ceph-node2:/var/local/osd2

 

用 ceph-deploy 把配置文件和 admin 密钥拷贝到管理节点和 Ceph 节点

ceph-deployadmin ceph-deploy ceph-mon1 ceph-mon2 ceph-mon3 ceph-node0 ceph-node1ceph-node2 ceph-mds cephfs

 

检查集群的健康状况

cephstatus

 

等 peering 完成后,集群应该达到 active + clean 状态。

 

2.2.9     添加元数据

至少需要一个元数据服务器才能使用 CephFS文件系统 ,执行下列命令创建元数据服务器:

ceph-deploymds create ceph-mds

当前生产环境下的 Ceph 只能运行一个元数据服务器。你可以配置多个,但多个目前还不稳定。

 

2.2.10   添加存储池

用此命令创建存储池时:

cephosd pool create {pool-name} pg_num

确定 pg_num 取值是强制性的,因为不能自动计算。下面是几个常用的值:

少于 5 个 OSD 时可把 pg_num 设置为 128

OSD 数量在 5 到 10 个时,可把 pg_num 设置为512

OSD 数量在 10 到 50 个时,可把 pg_num 设置为4096

OSD 数量大于 50 时,你得理解权衡方法、以及如何自己计算 pg_num 取值

自己计算 pg_num 取值时可借助 pgcalc 工具:http://ceph.com/pgcalc/

 

一个 Ceph 文件系统需要至少两个 RADOS 存储池,一个用于数据、一个用于元数据。配置这些存储池时需考虑:

为元数据存储池设置较高的副本水平,因为此存储池丢失任何数据都会导致整个文件系统失效。

为元数据存储池分配低延时存储器(像 SSD ),因为它会直接影响到客户端的操作延时。

 

cephosd pool create cephfs_metadata 128 128

cephosd pool create cephfs_data 512 512

 

2.2.11   创建文件系统

创建好存储池后,你就可以用 fs new 命令创建文件系统了:

cephfs new cephfs cephfs_metadata cephfs_data

查看文件系统:

cephfs ls

文件系统创建完毕后, MDS 服务器就能达到 active 状态了,比如在一个单 MDS 系统中:

cephmds stat

 

2.2.12   挂载文件系统

查看密钥:

cat/etc/ceph/ceph.client.admin.keyring

[client.admin]

        key = AQA1nLhZBEVaDBAAtHOx5OEdOjKSpvHN3JVJeA==

        caps mds = "allow *"

        caps mon = "allow *"

        caps osd = "allow *"

 

将红色部分导入一个新文件

echo“AQA1nLhZBEVaDBAAtHOx5OEdOjKSpvHN3JVJeA==”> /etc/ceph/admin.secret

chmod600 /etc/ceph/admin.secret

 

挂载文件系统

mount-t ceph 192.168.8.11,192.168.8.12,192.168.8.13:6789:/ /mnt/mycephfs -oname=admin,secretfile=/etc/ceph/admin.secret

 

查看cephfs容量

cephdf

 

2.2.13   fstab配置

要用内核驱动挂载 Ceph FS ,按下列格式添加到 /etc/fstab :

{ipaddress}:{port}:/{mount}/{mountpoint} {filesystem-name}    [name=username,secret=secretkey|secretfile=/path/to/secretfile],[{mount.options}]

 

192.168.8.11,192.168.8.12,192.168.8.13:6789:/  /mnt/mycephfs ceph  name=admin, secretfile=/etc/ceph/admin.secret,noatime  0  0

 

2.3  扩容ceph

2.3.1     新增osd

如增加ceph-osd3 IP为192.168.8.19

管理节点增加主机名解析:

vi/etc/hosts

192.168.8.19  ceph-osd3

 

增加无密钥登录

[email protected]

 

ssh ceph-osd3

sudomkdir /var/local/osd3

exit

 

然后,从管理节点执行 ceph-deploy 来准备 OSD 。

ceph-deployosd prepare ceph-node3:/var/local/osd3

 

激活 OSD

ceph-deployosd activate ceph-node3:/var/local/osd3

 

2.3.2     删除osd

如删除ceph-osd3 IP为192.168.8.19

删除 OSD 前,它通常是 up 且 in 的,要先把它踢出集群,以使 Ceph 启动重新均衡、把数据拷贝到其他 OSD 。

先查看osd对应数字

cpehosd tree

然后进行踢出

cephosd out 3

 

观察数据迁移

一旦把 OSD 踢出( out )集群,Ceph 就会开始重新均衡集群、把归置组迁出将删除的 OSD 。你可以用 ceph 工具观察此过程。

ceph –w

 

你会看到归置组状态从 active+clean 变为 active, some degradedobjects 、迁移完成后最终回到 active+clean 状态。

 

注意:有时候,(通常是只有几台主机的“小”集群,比如小型测试集群)拿出( out )某个 OSD 可能会使CRUSH 进入临界状态,这时某些 PG 一直卡在active+remapped 状态。如果遇到了这种情况,你应该把此 OSD 标记为 in ,用这个命令:

cephosd in 3

等回到最初的状态后,把它的权重设置为 0 ,而不是标记为 out ,用此命令:

ceph osdcrush reweight osd.3 0

执行后,你可以观察数据迁移过程,应该可以正常结束。把某一 OSD 标记为 out 和权重改为 0的区别在于,前者,包含此 OSD 的桶、其权重没变;而后一种情况下,桶的权重变了(降低了此 OSD 的权重)。某些情况下, reweight 命令更适合“小”集群。

 

停止 OSD

把 OSD 踢出集群后,它可能仍在运行,就是说其状态为 up 且 out 。删除前要先停止 OSD 进程。

ssh ceph-osd3

systemctlstop [email protected]

exit

 

停止 OSD 后,状态变为 down 。

cephosd tree

 

删除 CRUSH 图的对应 OSD 条目,它就不再接收数据了。

cephosd crush remove osd.3

cephosd crush remove ceph-node3

 

删除 OSD 认证密钥:

cephauth del osd.3

 

删除 OSD

cephosd rm 3

 

从 ceph.conf 配置文件里删除对应条目。

ssh ceph-deploy

cd/etc/ceph

vimceph.conf

[osd.3]

        host = {hostname}

 

 


本文出自 “桃子技术” 博客,请务必保留此出处http://taozijishu.blog.51cto.com/11320335/1966875

以上是关于ceph文件系统安装配置的主要内容,如果未能解决你的问题,请参考以下文章

在 CentOS 7.0 上安装配置 Ceph 存储

Ceph-10.2.10安装配置

一步一步安装配置Ceph分布式存储集群

ceph存储安装配置

Ceph Nautilus安装配置 MGR-dashboard

Ceph集群详细部署配置图文讲解,只要看一遍就能上手