Ceph Nautilus安装配置 MGR-dashboard

Posted 2021-03-06

环境描述

测试环境，KVM虚拟机3台，安装centos 7 x64系统；
每台虚拟机添加3块100GB磁盘；
安装Ceph存储集群，版本Nautilus 14.2.8；

角色规划
10.19.0.91 cephn1 MON+OSD
10.19.0.92 cephn2 MON+OSD
10.19.0.93 cephn3 MON+OSD+MGR

系统初始化
#安装、更新必要的软件包
yum clean all && yum makecache fast && yum install -y vim wget git ftp net-tools iftop iperf atop && yum update -y && yum update kernel -y

#逐个节点修改主机名
cephn1/noden2/noden3操作：
hostnamectl set-hostname cephn1

#逐个节点添加管理节点账户cephadm，账户口令cephadm，配置sudo免密码权限
sudo useradd -d /home/cephadm -m cephadm
passwd cephadm

echo "cephadm ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephadm
sudo chmod 0440 /etc/sudoers.d/cephadm

#备份现有yum源配置文件CentOS-Base.repo
cd /etc/yum.repos.d/ && cp CentOS-Base.repo CentOS-Base.repo_bak

#新建定制yum源配置文件
touch ceph.repo

#定制源
vim ceph.repo
###=================阿里源========================
[Ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/x86_64/
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/SRPMS
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

#更新yum源
yum clean all && yum makecache && yum update -y

#关闭防火墙iptables/selinux
systemctl disable firewalld.service
vim /etc/sysconfig/selinux
SELINUX=disabled

#编辑hosts文件，添加主机名解析
vim /etc/hosts
10.19.0.91 cephn1
10.19.0.92 cephn2
10.19.0.93 cephn3

#逐个节点重启服务器
reboot

###配置免密码登陆，设定ceph-node1节点为管理节点，ssh登陆ceph-node1执行以下操作
su cephadm
cd
ssh-keygen

##三次回车即可
#拷贝密钥文件到其他2个节点
ssh-copy-id cephadm@cephn2
ssh-copy-id cephadm@cephn3

#完成后，免密码登陆测试：
ssh cephadm@cephn2
ssh cephadm@cephn3

#创建配置文件，退出ceph账户，使用root身份在ceph-node1节点上执行以下操作
mkdir -p /home/cephadm/.ssh
cd /home/cephadm/.ssh
touch config
//此处创建编辑config文件，需要切换到root账户，否则测试登陆时候会报错：
[ceph@ceph-node1 .ssh]$ ssh cephadm@ceph-node2
Bad owner or permissions on /home/ceph/.ssh/config

#编辑配置文件
vi config
Host cephn1
Hostname cephn1
User cephadm
Host cephn2
Hostname cephn2
User cephadm
Host cephn3
Hostname cephn3
User cephadm

安装ceph集群
#更新所有节点软件环境
yum update -y

###ssh管理节点ceph-node1执行以下操作
#安装ceph-deploy 管理工具
yum install ceph-deploy

#安装时间同步ntp
yum install ntp ntpdate ntp-doc

#安装Python环境包
wget https://bootstrap.pypa.io/ez_setup.py -O - | python
curl https://bootstrap.pypa.io/ez_setup.py | python

#仍然在cephn1管理节点，切换到ceph账户执行以下操作
#切换到ceph账户，创建指定路径，用来存放ceph集群安装记录以及相应配置文件
su cephadm && cd /home/cephadm
mkdir my_cluster && cd my_cluster

#创建ceph集群中三个节点
ceph-deploy new cephn1 cephn2 cephn3
#上一步操作执行完成后，当前路径下生成ceph集群初始配置文件，可直接查看或者编辑ceph.conf配置文件
vim ceph.conf

#安装osd节点
ceph-deploy install cephn1 cephn2 cephn3

#安装监控节点
ceph-deploy mon create-initial
##################意外问题处理---开始##################
##10.19.0.91/92/93 若报错无法安装则再进行此环境包安装
yum install -y yum-utils && yum-config-manager --add-repo https://dl.fedoraproject.org/pub/epel/7/x86_64/ && yum install --nogpgcheck -y epel-release && rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 && rm -f /etc/yum.repos.d/dl.fedoraproject.org*
#从管理节点安装中断、报错，从分别每个节点依次安装ceph
##yum install -y ceph
##################意外问题处理---结束##################

#查看ceph版本，安装过程中即可直接看到安装包版本
ceph -v
ceph version 14.2.8(1436*****08c13ebd777) nautilus (stable)

##ceph-deploy工具管理添加三个被管理节点，即推送配置文件ceph.conf和ceph.client.admin.keyring
ceph-deploy admin cephn1 cephn2 cephn3

#创建监控节点mon，若前期未执行配置文件和密钥文件推送，则手动拷贝到其他两个被管理节点（ceph-node2/ceph-node3）即可
ceph-deploy mon create-initial
#手动复制或者使用ceph-deploy管理其他节点
#若手动复制
scp /etc/ceph/ceph.conf root@ceph-node2:/etc/ceph/
scp /etc/ceph/ceph.client.admin.keyring root@ceph-node2:/etc/ceph/
chmod +r /etc/ceph/ceph.client.admin.keyring

####若后期修改配置文件，完成后，可直接统一推送
ceph-deploy --overwrite-conf config push cephn1 cephn2 cephn3

#已经安装好Nautilus 12.2.8 版本存储集群，以下步骤是关于mgr安装配置；
mgr配置
#nautilus版本dashboard需要额外手动配置登陆访问信息
#安装mgr
ceph-deploy mgr create cephn3
##ssh登陆mgr角色节点，即cephn3节点，执行启动mgr服务操作
yum install http://mirrors.163.com/ceph/rpm-nautilus/el7/noarch/ceph-mgr-dashboard-14.2.8-0.el7.noarch.rpm
#启用mgr
ceph mgr module enable dashboard
#配置登陆认证
ceph dashboard create-self-signed-cert
例如：
[root@cephn3 ~]# ceph dashboard create-self-signed-cert
Self-signed certificate created
#配置登陆账户
ceph dashboard ac-user-create admin TestNautilus administrator
[root@cephn3 ~]# ceph dashboard ac-user-create admin TestNautilus administrator
{"username": "admin", "lastUpdate": 15*21, "name": null, "roles": ["administrator"], "password":"$2b****uNb6", "email": null}
登陆测试：
https://10.19.0.93:8443/#/login

参考网址
https://blog.csdn.net/allway2/article/details/101209769