RHCS

Posted 2020-11-07 lyshark

**************************************************************************************************
◆案例◆ RHCS搭建高可用分布式文件系统 【注意:RHCS只在RHEL 6 中存在 RHEL 7已经阉割了】
**************************************************************************************************

=====================================================================================
红帽集群套件

CMAN 集群管理工具
RGMANAGER 资源管理工具(启动,停止,集群应用,及实现故障转移)
GFS2 全局文件系统,第二版,提供对文件系统的支持
CLVM 集群逻辑卷,扩展逻辑卷,支持集群
ISCSI 网络存储

实验环境
一台target（加一个硬盘） 192.168.22.191
一台node（节点可扩充） 192.168.22.192

=====================================================================================

****************************************************************************
◆服务端（target）配置◆
****************************************************************************

1.两台主机（target/node）全部在/etc/hosts写入解析记录

192.168.22.191 target.com target
192.168.22.192 node.com node

2.target主机与所有node主机建立互信关系（ssh）
3.node主机也要分别和target建立互信关系
4.hostname target.com

5.安装服务器scsi-target-utils

yum install -y scsi-target-utils

6.写入要共享的分区和认证密码

vim /etc/tgt/targets.conf

<target iqn.2018-00.com.lyshark:master> #配置target名称
<backing-store /dev/sdb> #配置共享磁盘
vendor_id lyshark #配置发行商
lun 8 #配置Lun号
</backing-store>
incominguser lyshark 1233 #认证账号密码
initiator-address 192.168.22.0/24 #允许访问的网段
</target>
#服务器端把磁盘/dev/sdb共享出去,如果客户端要想使用,需要提供用户名和密码,并且网段要在这个区域内

7.启动服务

service tgtd start
chkconfig tgtd on

8.查看共享资源

tgtadm -L iscsi -o show -m target

****************************************************************************
◆客户端（node节点）配置◆
****************************************************************************

hostname=node1.com

1.安装iscsi-initiator-utils

yum install -y iscsi-initiator-utils

2.修改客户端配置文件/etc/iscsi/initiatorname.iscsi,更改客户端的名称

vim /etc/iscsi/initiatorname.iscsi

InitiatorName=iqn.2018-00.com.lyshark:node

3.修改配置文件/etc/iscsi/iscsid.conf，填写认证信息

vim /etc/iscsi/iscsid.conf

node.session.auth.authmethod = CHAP
node.session.auth.username = lyshark
node.session.auth.password = 1233

4.查看本节点上存储服务器的共享存储，并挂载到本机

iscsiadm -m discovery -t sendtargets -p target #解析节点

iscsiadm -m node -T iqn.2018-00.com.lyshark:master --login #挂载节点
iscsiadm -m node -T iqn.2018-00.com.lyshark:master --logout #卸载节点

fdisk -l or ll /dev/sdb #查看节点挂载情况

5.在各节点上安装cman与rgmanager

yum install -y cman rgmanager

6.在各节点上构建集群

ccs_tool create testcluster #创建集群

ccs_tool addfence meatware fence_manual #当节点坏掉选出一个为主

ccs_tool lsfence #查看集群

ccs_tool addnode -n 1 -f meatware node.com #添加管理节点node.com节点

ccs_tool lsfence #再次查看集群

7.启动cman服务

service cman start

如果报错：echo "CMAN_QUORUM_TIMEOUT=0">> /etc/sysconfig/cman 重新启动

8.在各节点上安装clvm服务,并启用集群

[[email protected] ~]# yum install -y lvm2-cluster

启用集群lvm

[[email protected] ~]# lvmconf --enable-cluster

启用clvm服务

[[email protected] ~]# service clvmd start

9.安装gfs2在各节点上,并格式化,挂载使用

[[email protected] ~]# yum install -y gfs2-utils

格式化为集群文件系统

[[email protected]~]# mkfs.gfs2 -j 3 -p lock_dlm -t testcluster:sharestorage /dev/sdb

挂载使用

[[email protected] ~]# mount -t gfs2 /dev/sdb /media/

注意：不论你有多少个节点，全部都要照客户端步骤做下来