HA 简介+ Fence

Posted 2020-09-05

HA(High Available),高可用集群，是减少服务中断时间为目的的服务器集群技术。是保证业务连续性的有效解决方案。集群，简单的来说就是一组计算机。一般有两个或者两个以上的计算机组成，这些组成集群的计算机被称为节点。

        其中由两个节点组成的集群被称为双机热备，即使用两台服务器互相备份，当其中一台服务器出现问题时，另一台服务器马上接管服务，来保护用户的业务程序对外不间断提供的服务，当然集群系统更可以支持两个以上的节点，提供比双机热备更多、更高级的功能，把因软件/硬件/人为造成的故障对业务的影响降低到最小程度。

        在集群中为了防止服务器出现“脑裂”的现象，集群中一般会添加Fence设备，有的是使用服务器本身的的硬件接口称为内部Fence，有的则是外部电源设备称为外部Fence，当一台服务出现问题响应超时的时候，Fence设备会对服务器直接发出硬件管理指令，将服务器重启或关机，并向其他节点发出信号接管服务。

         在红帽系统中我们通过luci和ricci来配置管理集群，其中luci安装在一台独立的计算机上或者节点上，luci只是用来通过web访问来快速的配置管理集群的，它的存在与否并不影响集群。ricci是安装在每个节点上，它是luci与集群给节点通信的桥梁。

接下来是集群的配置了。

主机环境： rhel6.5 iptables and selinux disable

实验主机
server4.example.com 172.25.9.4 luci端

server2.example.com 172.25.9.2 节点1

server3.example.com 722.25.9.2 节点2

在节点端：

yum install ricci

给ricci用户设置密码

echo redhat | passwd --stdin ricci

开启ricci并确保ricci开机启动

/etc/init.d/ricci start
chkconfig ricci on

在luci端:

安装集群管理软件

yum install luci

开启luci

/etc/init.d/luci start

用web登录https://server4.example.com:8084通过网页来配置其中8084端口就是luci启动的端口

luci端的主机的root用户就是luci的管理用户；其他用户登录需要root用户授权这里为了方 便直接用root登录

创建集群

创建集群成功

输入节点主机clustat命令也可查看到

Member Status: Quorate
Member Name ID   Status
 ------ ----   ---- ------
server2.example.com    1 Online, Local
server3.example.com    2 Online

为集群添加外部fence：

因为实验主机是虚拟机所以用物理机来模拟fence 在物理机中安装所需的软件包

yum install fence-virtd-multicast.x86_64 fence-virtd.x86_64 fence-virtd-libvirt.x86_64

开始创建：

执行fence_virtd -c命令后按要求配置

寻找module路径默认即可:

监听module设为多波：

多波IP设为225.0.0.12：

端口设为1229：

接口为br0：

创建fence的key文件默认即可，要确保有/etc/cluster目录：

后端module为libvirt：

成功后会将以下信息写入/etc/fence_virt.conf

backends {
libvirt {
    uri = "qemu:///system";
}

 }

listeners {
multicast {
    port = "1229";
    family = "ipv4";
    interface = "br0";
    address = "225.0.0.12";
    key_file = "/etc/cluster/fence_xvm.key";
}

 }

fence_virtd {
module_path = "/usr/lib64/fence-virt";
backend = "libvirt";
listener = "multicast";
}

采集随即信息到刚刚生成的key文件里

dd if=/dev/urandom of=/etc/cluster/fence_xvm.key bs=128 count=1

启动fence_virtd服务

systemctl start fence_virtd.service

将key文件传到节点的/etc/cluster目录下就可以通过luci给集群添加fence了 点击Fence Devices添加fence，有多种fence设备可供选择这里选的是Fence virt（MulticastMode ）：

然后点击Nodes里的节点为集群添加fence

这里选择vmfence（xvm Virtual Machine Fencing）其中Domain填写虚拟机的名字或UUID。

每个节点都添加了以后测试一下：

在server2.example.com中执行fence_node server3.example.com 命令可以看到server3主机关闭重起了

配置完fence后接着配置failover：

#Prioritized设置优先级

#Restricted设置只在勾选节点中运行

#No Failback设置当优先级高的节点恢复时不会接管正在运行的服务

然后在Resource中添加资源这里添加虚拟ip和httpd的脚本（集群要安装httpd）：

最后设置Server Group：

#Automatically Start This Service设置自动开启服务

#Run Exclusive 设置当运行此服务时不再运行其他服务

点击 Add Resource 增加Resource中的资源这里添加的是上一步配置的虚拟IP和httpd脚本

测试：

在网页输入设置的虚拟IP172.25.9.100可以看到server2主机的网页内容server2.example.com

在server2主机执行clusvcadm -r apache -m server3.example.com命令让server3主机接管服务

或者执行echo c > /proc/sysrq-trigger让server2内核崩溃,server2主机将在fence的作用下重起.

刷新172.25.9.100的页面可以看到server3的主页内容server3.example.com。

集群存储：

在luci端安装iscsi服务端

yum install scsi-target-utils.x86_64

添加配置：

vim /etc/tgt/targets.conf
 <target iqn.2016-06.com.example:server.target1>
 backing-store /dev/vdb
 initiator-address 172.25.9.2
 initiator-address 172.25.9.3
 </target>
/etc/init.d/tgtd start

输入tgt-admin -s看到如下信息表示成功

在集群安装iscsi客户端

yum install iscsi-initiator-utils.x86_64 -y

找到服务端分享的磁盘

iscsiadm -t st -m discovery -p 172.25.9.4

链接

iscsiadm -m node -l

对磁盘进行分区并创建lvm（只需在集群的一个节点做）

fdisk -cu /dev/sda
pvcreate /dev/sda1
vgcreate clust0 /dev/sda1
lvcreate -L +2G -n lv0 clust0

磁盘可以格式化为本地系统或者集群文件系统

1.磁盘格式化为本地文件系统 mkfs.ext4 /dev/clust0/lv0

节点执行pvs，vgs，lvs。命令进行同步

最后在网页进行配置：

点击Resource添加资源：选择File System

在之前的Resource Group中的apache组添加资源顺序为虚拟IP -> File System ->httpd脚本

因为server2主机的优先级高所以先挂载在server2主机，在server2主机执行

echo www.redhat.com > /var/www/html/index.html

访问虚拟ip172.25.9.100可以看到这个主页

2.磁盘格式化为集群文件系统

lvcreate -L 2G -n demo clust0
mkfs.gfs2 -p lock_dlm -t memory:mygfs2s  -j 3 /dev/clust0/demo
gfs2_tool sb   /dev/clust0/demo all #查看demo的信息

在/etc/fstab中写入（UUID可以通过blkid查看,所用节点都做） vim /etc/fstab UUID=c705c698-7dbb-b831-2cd5-1d553660d393 /var/www/html gfs2 _netdev 0 0 mount -a

本文出自 “12097560” 博客，请务必保留此出处http://12107560.blog.51cto.com/12097560/1907651