Ceph 文件系统部署

Posted 2023-03-09

参考技术A Ceph文件存储部署与使用

1.安装client操作系统

（1）虚拟机基础设置

在VMware中创建一台虚拟机，操作系统为CentOS-7-x86_64-DVD-1908，硬盘大小为20G，并将虚拟机的名字设为client，如图7-10所示。

                  图7-10 虚拟机配置

（2）虚拟机网络设置

为虚拟机配置主机名：client。设置网络为NAT模式，配置IP地址：192.168.100.100，子网掩码为255.255.255.0，默认网关为192.168.100.2，DNS服务器为192.168.100.2，使虚拟机可以访问Internet。

2.配置Ceph文件系统

（1）部署MDS

在ceph-1节点中，将MDS部署到ceph-1节点

[root@ceph-1 ~]# cd /opt/osd

[root@ceph-1 osd]# ceph-deploy mdscreate ceph-1

（2）创建数据和存储池

在ceph-1节点为Ceph文件系统创建数据和元数据存储池。

[root@ceph-1 osd]# ceph osd poolcreate cephfs_data 64

pool 'cephfs_data' created

[root@ceph-1 osd]# ceph osd poolcreate cephfs_metadata 64

pool 'cephfs_metadata' created

（3）创建Ceph文件系统

在ceph-1节点创建ceph的文件系统cephfs。

[root@ceph-1 osd]# ceph fs newcephfs cephfs_metadata cephfs_data

new fs with metadata pool 2 anddata pool 1

（4）验证MDS和CephFS的状态

[root@ceph-1 osd]# ceph mds stat

cephfs:1 0=ceph-1=up:active

[root@ceph-1 osd]# ceph osd pool ls

rbd

.rgw.root

default.rgw.control

default.rgw.meta

default.rgw.log

.rgw

.rgw.control

.rgw.gc

.rgw.buckets

.rgw.buckets.index

.rgw.buckets.extra

.log

.intent-log

.usage

.users

.users.email

.users.swift

.users.uid

default.rgw.buckets.index

default.rgw.buckets.data

cephfs_data

cephfs_metadata

[root@ceph-1 osd]# ceph fs ls

name: cephfs, metadata pool:cephfs_metadata, data pools: [cephfs_data ]

（5）创建用户

在Ceph集群中创建用户client.cephfs，允许这个用户可以访问CephFS池。

[root@ceph-1 osd]# ceph authget-or-create client.cephfs mon 'allow r' mds 'allow r,allow rw path=/' osd'allow rw pool=cephfs_data' -o /etc/ceph/client.cephfs.keyring

[root@ceph-1 osd]# ceph-authtool -p-n client.cephfs /etc/ceph/client.cephfs.keyring > /etc/ceph/client.cephfs

[root@ceph-1 osd]# cat/etc/ceph/client.cephfs

AQA18Nldot+5DBAAQc4R6zbX+V6jBRINE4lJRA==

3、访问CephFS

（1）创建挂载点

[root@client ~]# mkdir/media/cephfs

（2）文件系统挂载

使用mount命令挂载CephFS文件系统

[root@client ~]# mount -t ceph192.168.100.101:6789:/ /media/cephfs -o name=cephfs,secret=AQA18Nldot+5DBAAQc4R6zbX+V6jBRINE4lJRA==

（3）查看挂载并解除挂载

[root@client ~]# mount | grep/media/cephfs

192.168.100.101:6789:/ on/media/cephfs type ceph(rw,relatime,name=cephfs,secret=,acl,wsize=16777216)

[root@client ~]# umount/media/cephfs

（4）通过文件挂载

为了更安全的挂载CephFS，防止在命令行历史中泄露密码，应该把密码存储在一个单独的文本文件中，然后把这个文件作为挂载命令的参数值。为了实现这个功能，需要在client节点安装ceph。

首先编辑ceph-1节点的hosts。

[root@ceph-1 osd]# vi /etc/hosts

192.168.100.100 client

192.168.100.101 ceph-1

192.168.100.102 ceph-2

192.168.100.103 ceph-3

（5）复制公钥

在ceph-1节点，将公钥复制到client节点。

[root@ceph-1 osd]# ssh-copy-idroot@client

/usr/bin/ssh-copy-id: INFO: Sourceof key(s) to be installed: "/root/.ssh/id_rsa.pub"

The authenticity of host 'client(192.168.100.100)' can't be established.

ECDSA key fingerprint isSHA256:XpUmb4kHGXWKkaTj44vITJDwBBApSk6Yo8ZunIEW010.

ECDSA key fingerprint isMD5:85:d3:f8:41:59:c4:a4:b4:c3:e9:71:2c:3b:45:0b:29.

Are you sure you want to continueconnecting (yes/no)? yes

/usr/bin/ssh-copy-id: INFO:attempting to log in with the new key(s), to filter out any that are alreadyinstalled

/usr/bin/ssh-copy-id: INFO: 1key(s) remain to be installed -- if you are prompted now it is to install thenew keys

root@client's password:

Number of key(s) added: 1

Now try logging into the machine,with:   "ssh 'root@client'"

and check to make sure that onlythe key(s) you wanted were added.

（6）编辑yum文件

在client节点编辑YUM软件源配置文件

[root@client ~]# mkdir /opt/bak

[root@client ~]# cd/etc/yum.repos.d

[root@client yum.repos.d]# mv */opt/bak

将CentOS7-Base-163.repo通过SFTP复制到client节点的/etc/yum.repos.d目录。

[root@client yum.repos.d]# ls

CentOS7-Base-163.repo

[root@client yum.repos.d]# viceph.repo

[Ceph]

name=Ceph packages for $basearch

baseurl=http://mirrors.163.com/ceph/rpm-nautilus/el7/$basearch

enabled=1

gpgcheck=1

type=rpm-md

gpgkey=https://download.ceph.com/keys/release.asc

priority=1

[Ceph-noarch]

name=Ceph noarch packages

baseurl=http://mirrors.163.com/ceph/rpm-nautilus/el7/noarch

enabled=1

gpgcheck=1

type=rpm-md

gpgkey=https://download.ceph.com/keys/release.asc

priority=1

[ceph-source]

name=Ceph source packages

baseurl=http://mirrors.163.com/ceph/rpm-nautilus/el7/SRPMS

enabled=1

gpgcheck=1

type=rpm-md

gpgkey=https://download.ceph.com/keys/release.asc

priority=1

[root@client yum.repos.d]# yumclean all

[root@client yum.repos.d]# yummakecache

（7）安装ceph

在ceph-1节点，通过ceph-deploy将ceph安装到client节点。

[root@ceph-1 osd]# ceph-deployinstall --release=nautilus client

（8）生成密钥

在client节点生成密钥文件

[root@client ~]# echo AQA18Nldot+5DBAAQc4R6zbX+V6jBRINE4lJRA==> /etc/ceph/cephfskey

（9）使用secretfile参数挂载

[root@client ~]# mount -t ceph 192.168.100.101:6789://media/cephfs -o name=cephfs,secretfile=/etc/ceph/cephfskey

[root@client ~]# mount | grep/media/cephfs

192.168.100.101:6789:/ on/media/cephfs type ceph (rw,relatime,name=cephfs,secret=,acl,wsize=16777216)

[root@client ~]# umount/media/cephfs

（10）开机自动挂载

将参数按要求写入系统文件实现开机时自动挂载CephFS文件系统

[root@client ~]# vi /etc/fstab

192.168.100.101:6789://media/cephfs ceph name=cephfs,secretfile=/etc/ceph/cephfskey,_netdev,noatime 02

[root@client ~]# mount -a

[root@client ~]# mount | grep /media/cephfs

192.168.100.101:6789:/ on/media/cephfs type ceph(rw,noatime,name=cephfs,secret=,acl,wsize=16777216)