ceph存储，虚拟机部署

Posted 2021-11-25 bladeyul

最近准备用ceph搭建一个存储集群，作为平台的共享存储，使用三台虚拟机

先规划在每台虚拟机上需要配置的服务。

ceph-admin，作为主管理节点

ceph-manager，作为主控制节点

ceph-osd，作为存储节点,ceph-osd需要直接使用盘，在虚拟机上可以使用挂载额外的盘实现，如果是单机的话，可以

 

在ceph-admin上安装monitor服务

在ceph-manager上安装manager服务

三个节点上都安装ceph-osd

 

其中第一步是配置三台服务器的依赖，主要是时间、源配置、centos的话要注意配置网络安全，保证三台虚拟机能相互访问

虚拟机相互访问的话需要开启两个网卡，一个使用nat模式，另一个使用host-only模式

 

对三个节点的安装：

基础配置

wget -q -O- ‘https://download.ceph.com/keys/release.asc‘ | sudo apt-key add -
echo deb https://download.ceph.com/debian-{ceph-stable-release}/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
sudo apt update
sudo apt install ceph-deploy

sudo apt install ntp
sudo apt install openssh-server

创建用户
ssh [email protected]
sudo useradd -d /home/{username} -m {username}
sudo passwd {username}
echo "{username} ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/{username}
sudo chmod 0440 /etc/sudoers.d/{username}

配置SSH访问
ssh-keygen
ssh-copy-id {username}@node1
ssh-copy-id {username}@node2
ssh-copy-id {username}@node3

配置ssh前需要对hostname进行配置，同时要对hosts文件进行修改，保证能够正确路由到服务器

 

在admin节点上

在安装节点上
mkdir my-cluster
cd my-cluster

 

安装节点，设定默认监控节点
ceph-deploy new {initial-monitor-node(s)}
ceph-deploy install {ceph-node} [...]，这个是安装节点上的服务

安装监控节点
ceph-deploy mon create-initial

拷贝主节点配置
ceph-deploy admin {ceph-node(s)}

安装主控制节点
ceph-deploy mgr create node1

创建osd盘
ceph-deploy osd create --data {device} {ceph-node}

 

通过以上操作，简单的一个集群就安装好了。

其中必须要包含的是一个监控节点，一个主控制节点。

其他的服务可以根据需要安装，如对象网关服务

ceph-deploy rgw create {gateway-node}

 

这是官网推荐的安装方式，当前比较简单的另一种方式是使用docker部署ceph集群

 

 

 

 

ceph-deploy install {ceph-node} [...]