cluster

Posted 2020-09-30

集群（cluster）

（一）集群概念

简单的说，集群就是一组计算机，他们作为一个整体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点（node）。集群（一组协同工作的计算机）是充分利用计算资源的一个重要概念，因为它能够将工作负载从一个超载的系统（或节点）迁移到集群中的另一个系统上。常见的硬件有:结点,网络,存储.软件有:机群系统,节点系统,应用支撑软件。集群具有高可用性HA（集群中的一个节点失效，他的任务可传递给其他节点，可以有效防止单点是失效。）

（二） 集群系统的分类

一般将集群分成两类：

1）HA(High Availability)集群

2)HPC集群，也称为科学计算集群

（三） 集群的搭建

搭建两个节点的集群，要注意时间同步

HA集群维护节点的高可用，只有一个节点是真正工作，另一个节点是处于热备状态，一般来说，两个集群节点会有一根网线直连，还有心跳线，corosyc（心跳引擎，用于检测主机的可用性）每一个主机上都有自己的主机ip，但是对外使用时是用的vip，vip，servers，filesystem构成了一个资源组，当一个节点down了，整个资源组就会迁移到另一个节点上，由于vip不变，在客户端看来是都一样的，这里需要用到ARP协议，mac地址发生了变化。

如果两个节点之间的网络断了，或者正在工作的节点负载过高而down了，那么corosync检测不到心跳信息，就会告知另一个节点接管工作，此时，若原来的节点恢复了，那么就会出现争抢资源组的情况，并有可能同时对文件系统进行操作，那么就会导致文件系统坏掉出现“脑裂”，因此是不合理的，这时就需要fence，当一个节点出现问题的时候，fence就会直接将其断电（不是重启，英因为重启会将内存的信息写入磁盘，而断电就直接将内存清空），那么就不会出现资源组的争抢的情况

一 创建集群

server1:(第一个节点)

1 vim /etc/yum.repos.d/rhel-source.repo

[rhel-source]

name=Red Hat Enterprise Linux $releasever - $basearch - Source

baseurl=http://172.25.38.250/rhel6.5

enabled=1

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release

[HighAvailability]

name=HighAvailability

baseurl=http://172.25.38.250/rhel6.5/HighAvailability

gpgcheck=0

[LoadBalancer]

name=LoadBalancer

baseurl=http://172.25.38.250/rhel6.5/LoadBalancer

gpgcheck=0

[ResilientStorage]

name=ResilientStorage

baseurl=http://172.25.38.250/rhel6.5/ResilientStorage

gpgcheck=0

[ScalableFileSystem]

name=ScalableFileSystem

baseurl=http://172.25.38.250/rhel6.5/ScalableFileSystem

gpgcheck=0

2 yum repolist

3 yum   install   -y    ricci ###rucci只是一个集群管理工具，安装在所有集群节点上，是加密的###

4 passwd ricci ###给ricci密码，企业六版本的都要给密码###

5 /etc/init.d/ricci start ###开启服务（端口为11111）###

6 chkconfig ricci on ###开机自启动###

7 yum   install   -y    luci ###提供一个web界面管理ricci，是加密的##

8 /etc/init.d/luci    start (端口为8084)

9 chkconfig luci on ###开机自启动###

server2:(第二个节点)

与server1的操作步骤相同，除了不用install luci

测试：

访问https://172.25.78.1:8084

命令方式：

clustat

[[email protected] ~]# clustat 

Cluster Status for haha @ Mon Jul 24 05:15:48 2017

Member Status: Quorate

 Member Name                                 ID   Status

 ------ ----                                 ---- ------

 server1                                         1 Online, Local

 server2                                         2 Online

二 创建fence

再真实的物理机上有一个libvirtd服务，是管理虚拟机和其他虚拟化功能，他包含一个API库，一个守护进程（libvirtd）和一个命令行工具(virsh)，如果将这个服务关闭了，那么用户就不能通过virsh管理虚拟机,将其作为fence

1  yum install fence-virtd-multicast.x86_64 fence-virtd-libvirt.x86_64 fence-virtd.x86_64 -y

2 fence_virtd -c ###创建fence服务###

【【【【【【【【【【【过程：

Module search path [/usr/lib64/fence-virt]: 

Available backends:

    libvirt 0.1

Available listeners:

    multicast 1.2

Listener modules are responsible for accepting requests

from fencing clients.

Listener module [multicast]: ###监听用多播###

The multicast listener module is designed for use environments

where the guests and hosts may communicate over a network using

multicast.

The multicast address is the address that a client will use to

send fencing requests to fence_virtd.

Multicast IP Address [225.0.0.12]: ###多播地址，此处使用默认的多播地址###

Using ipv4 as family.

Multicast IP Port [1229]: ###默认端口###

Setting a preferred interface causes fence_virtd to listen only

on that interface.  Normally, it listens on all interfaces.

In environments where the virtual machines are using the host

machine as a gateway, this *must* be set (typically to virbr0).

Set to ‘none‘ for no interface.

Interface [virbr0]: br0 ###fence接口，集群节点连接到fence###

The key file is the shared key information which is used to

authenticate fencing requests.  The contents of this file must

be distributed to each physical host and virtual machine within

a cluster.

Key File [/etc/cluster/fence_xvm.key]: ###虚拟机会通过key进行校验###

Backend modules are responsible for routing requests to

the appropriate hypervisor or management layer.

Backend module [libvirt]: ###连接的后端###

Configuration complete.

=== Begin Configuration ===

backends {

libvirt {

uri = "qemu:///system";

}

}

listeners {

multicast {

port = "1229";

family = "ipv4";

interface = "br0";

address = "225.0.0.12";

key_file = "/etc/cluster/fence_xvm.key";

}

}

fence_virtd {

module_path = "/usr/lib64/fence-virt";

backend = "libvirt";

listener = "multicast";

}

=== End Configuration ===

Replace /etc/fence_virt.conf with the above [y/N]? y

】】】】】】】】】】】

3 mkdir   /etc/cluster ###不存在要创建出来

4 dd if=/dev/urandom of=/etc/cluster/fence_xvm.key bs=128 count=1 ###/dev/urandom会产生随机数，利用此来产生key###

5 systemctl restart fence_virtd.service ###重启服务一定要在产生随机数之后###

6 scp /etc/cluster/fence_xvm.key [email protected]:/etc/cluster/ ###将key传给节点####

7 scp fence_xvm.key [email protected]:/etc/cluster/

再luci提供的web界面上：fence devices ---> add  ---> 添信息 ---> submit (在提交的时候，是在将所有的配置写入/etc/cluster/cluster.conf文件)

集群内部只知道主机名（例：server1，server2），而fance所在的物理机知道的是虚拟机的名字（例：vm1，vm2），因此要将它们做一个映射：vm1 --->  server1  , vm2 ---> server2

nodes ---> server1 ---> add fence method  ---> add fence instance

nodes ---> server2 ---> add fence method  ---> add fence instance

可以再/etc/cluster/cluster.conf文件下查看刚才再web上进行的操作

[[email protected] cluster]# cat cluster.conf 

<?xml version="1.0"?>

<cluster config_version="6" name="haha">

<clusternodes>

<clusternode name="server1" nodeid="1">

<fence>

<method name="fence1">

<device domain="vm1" name="vmfence"/>

</method>

</fence>

</clusternode>

<clusternode name="server2" nodeid="2">

<fence>

<method name="fence2">

<device domain="vm2" name="vmfence"/>

</method>

</fence>

</clusternode>

</clusternodes>

<cman expected_votes="1" two_node="1"/>

<fencedevices>

<fencedevice agent="fence_xvm" name="vmfence"/>

</fencedevices>

</cluster>

测试：

fence_node server1 ###fence将server1断电了###

将server2的eth0的down掉，会发现server4直接断电，就是因为fence的作用

三 在web上创建域和资源

failover domains ---> add 

Prioritized：优先级,数字越小，优先级越高

Restricted：几个节点

No Failback：如果server1挂了又恢复了，不回切。(但是如果server1和server2的性能相差很大，则最好不勾选此项，让它回切)

resources  ---> add ---> ip address(vip)

resources  ---> add ---> script

service  groups ---> add  ---> add resource (添加资源的顺序就是启动的顺序，因此要先启动ip再启动脚本)

 

Automatically Start This Service :开机自动开启服务

Run Exclusive：只进行这一个服务

Recovery Policy：relocate ###一个节点down就立刻让另一个节点接管###

测试：

访问172.25.78.100

命令方式：

[[email protected] ~]# clustat 

Cluster Status for haha @ Tue Jul 25 10:47:59 2017

Member Status: Quorate

 Member Name                             ID   Status

 ------ ----                             ---- ------

 server1                                     1 Online, Local, rgmanager

 server2                                     2 Online, rgmanager

 Service Name                   Owner (Last)                   State         

 ------- ----                   ----- ------                   -----         

 service:apache                 server1                        started       

[[email protected] ~]# ip addr 

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN 

    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

    inet 127.0.0.1/8 scope host lo

    inet6 ::1/128 scope host 

       valid_lft forever preferred_lft forever

2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

    link/ether 52:54:00:d5:e3:a3 brd ff:ff:ff:ff:ff:ff

    inet 172.25.78.1/24 brd 172.25.78.255 scope global eth0

    inet 172.25.78.100/24 scope global secondary eth0 ###分配到了ip###

    inet6 fe80::5054:ff:fed5:e3a3/64 scope link 

       valid_lft forever preferred_lft forever

[[email protected] ~]# ps ax | grep httpd ###查看是否httpd的进程

 8199 ?        S<s    0:00 /usr/sbin/httpd

 8201 ?        S<     0:00 /usr/sbin/httpd

 8202 ?        S<     0:00 /usr/sbin/httpd

 8203 ?        S<     0:00 /usr/sbin/httpd

 8204 ?        S<     0:00 /usr/sbin/httpd

 8205 ?        S<     0:00 /usr/sbin/httpd

 8206 ?        S<     0:00 /usr/sbin/httpd

 8207 ?        S<     0:00 /usr/sbin/httpd

 8208 ?        S<     0:00 /usr/sbin/httpd

16568 pts/0    S+     0:00 grep httpd

如果将server1的httpd服务down了，那么server2就会接管服务

[[email protected] ~]# /etc/init.d/httpd stop

Stopping httpd:                                            [  OK  ]

[[email protected] ~]# clustat 

[[email protected] ~]# clustat 

Cluster Status for haha @ Tue Jul 25 10:54:21 2017

Member Status: Quorate

 Member Name                             ID   Status

 ------ ----                             ---- ------

 server1                                     1 Online, Local, rgmanager

 server2                                     2 Online, rgmanager

 Service Name                   Owner (Last)                   State         

 ------- ----                   ----- ------                   -----         

 service:apache                 server2                        started       

让server2的内核崩溃，server1就会接管服务：

[[email protected] ~]# echo c > /proc/sysrq-trigger 

[[email protected] ~]# clustat 

Cluster Status for haha @ Tue Jul 25 10:57:20 2017

Member Status: Quorate

 Member Name                             ID   Status

 ------ ----                             ---- ------

 server1                                     1 Online, rgmanager

 server2                                     2 Online, Local, rgmanager

 Service Name                   Owner (Last)                   State         

 ------- ----                   ----- ------                   -----         

 service:apache                 server1                        started    

[[email protected] ~]# clusvcadm -r apache -m server2 ###将服务重新定位到server2上###

Trying to relocate service:apache to server2...Success

service:apache is now running on server2

[[email protected] ~]# clustat 

Cluster Status for haha @ Tue Jul 25 10:59:45 2017

Member Status: Quorate

 Member Name                             ID   Status

 ------ ----                             ---- ------

 server1                                     1 Online, Local, rgmanager

 server2                                     2 Online, rgmanager

 Service Name                   Owner (Last)                   State         

 ------- ----                   ----- ------                   -----         

 service:apache                 server2                        started       

四  创建共享设备iscsi

开启一个虚拟机(server3)作为共享存储，设置磁盘8G

1 yum install -y scsi-*

2 vim /etc/tgt/targets.conf

locking_type = 3

内容：

<target iqn.2017-07.com.example:server.target1>

    backing-store /dev/vdb

    initiator-address 172.25.38.1 ###设置访问控制####

    initiator-address 172.25.38.2

</target>

3 /etc/init.d/tgtd start

4 tgt-admin -s ###查看创建的iscsi的信息

集群节点server1和server2的操作：

lvmconf --enable-cluster

vim /etc/lvm/lvm.conf

1 yum install -y iscsi-*

2 iscsiadm -m discovery -t st -p 172.25.38.3

3 iscsiadm -m node -l

####以下步骤只能在一个节点上操作####

***************************************************************************************

###格式化成ext4###

fdisk -cu /dev/sda ###划分一个2G的分区###

partprobe ###同步分区表，如果一个节点有信息，另一个节点没有，就使用该命令进行分区表的同步###

mkfs.ext4  /dev/sda1 ###格式化成ext4，该文件系统是本地文件系统，一个节点往里存东西，另一个节点看不到###

mount /dev/sda1 /mnt/ ###两个节点都要进行mount###

测试：一个节点往里存东西，查看另一个节点的信息，发现看不到存的东西

[[email protected] ~]# cd /mnt/

[[email protected] mnt]# ls

lost+found

[[email protected] mnt]# cp /etc/passwd /mnt/

[[email protected] mnt]# ls

lost+found  passwd

[[email protected] ~]# mount /dev/sda1 /mnt/

[[email protected] ~]# cd /mnt/

[[email protected] mnt]# ls

lost+found

[[email protected] ~]# umount /mnt/ ###不过卸载了重新mount就可以看到###

[[email protected] ~]# mount /dev/sda1 /mnt/

[[email protected] ~]# cd /mnt/

[[email protected] mnt]# ls

lost+found  passwd

***************************************************************************************

#####创建lvm(只在一个节点上操作)#####

4 fdisk -cu /dev/sda ###创建lvm###

5 pvcreate /dev/sda1 (一个节点创建。另一个节点查看pvs)

6 vgcreate clustervg /dev/sda1(一个节点创建。另一个节点查看vgs)

7 lvcreate -L +2G -n demo clustervg(一个节点创建。另一个节点查看lvs)

8 mkfs.ext4 /dev/clustervg/demo ###格式化###

【lvm创建过程：

server1:

[[email protected] ~]# pvcreate /dev/sda1 

  Physical volume "/dev/sda1" successfully created

[[email protected] ~]# vgcreate clustervg /dev/sda1 

  Clustered volume group "clustervg" successfully created.

[[email protected] ~]# lvcreate -L +2G -n demo clustervg

  Logical volume "demo" created

server2:

[[email protected] ~]# pvs

  PV         VG        Fmt  Attr PSize  PFree

  /dev/sda1  clustervg lvm2 a--   8.00g 8.00g

  /dev/vda2  VolGroup  lvm2 a--  19.51g    0 

[[email protected] ~]# vgs

  VG        #PV #LV #SN Attr   VSize  VFree

  VolGroup    1   2   0 wz--n- 19.51g    0 

  clustervg   1   0   0 wz--nc  8.00g 8.00g

[[email protected] ~]# lvs

  LV      VG        Attr       LSize   Pool Origin Data%  Move Log Cpy%Sync Convert

  lv_root VolGroup  -wi-ao----  18.54g                                             

  lv_swap VolGroup  -wi-ao---- 992.00m                                             

  demo    clustervg -wi-a-----   2.00g              

[[email protected] ~]# lvs

  LV      VG       Attr       LSize   Pool Origin Data%  Move Log Cpy%Sync Convert

  lv_root VolGroup -wi-ao----  18.54g                                             

  lv_swap VolGroup -wi-ao---- 992.00m                       

】

9 在web上的操作（添加资源）

resources ---> add 

service  groups  ---> apache --->  

测试：

1 

[[email protected] ~]# mount

/dev/mapper/VolGroup-lv_root on / type ext4 (rw)

proc on /proc type proc (rw)

sysfs on /sys type sysfs (rw)

devpts on /dev/pts type devpts (rw,gid=5,mode=620)

tmpfs on /dev/shm type tmpfs (rw)

/dev/vda1 on /boot type ext4 (rw)

none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)

none on /sys/kernel/config type configfs (rw)

/dev/mapper/clustervg-demo on /var/www/html type ext4 (rw)

[[email protected] ~]# cd /var/www/html/

[[email protected] html]# ls

lost+found

[[email protected] html]# vim index.html

[[email protected] ~]# curl 172.25.78.100

<h1>www.westos.org</h1>

2 

[[email protected] html]# clusvcadm -r apache -m server2 ###将资源重定位到server2

Trying to relocate service:apache to server2...

[[email protected] ~]# mount

/dev/mapper/VolGroup-lv_root on / type ext4 (rw)

proc on /proc type proc (rw)

sysfs on /sys type sysfs (rw)

devpts on /dev/pts type devpts (rw,gid=5,mode=620)

tmpfs on /dev/shm type tmpfs (rw)

/dev/vda1 on /boot type ext4 (rw)

none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)

none on /sys/kernel/config type configfs (rw)

/dev/mapper/clustervg-demo on /var/www/html type ext4 (rw)

[[email protected] ~]# 

五 删除后端存储iscsi

1 在web上删除资源：

service groups --- > apache ---> filesystem --- > remove ---> submit

resources ---> webdata ---> delete

2 删除lvm

clusvcadm -d apache

lvremove /dev/clustervg/demo

vgremove clustervg

pvremove /dev/sda1

iscsiadm -m node -u ###两个节点都要登出###

iscsiadm -m node -o delete ###两个节点都要进行删除###

3 查看/dev/sda是否已经没有了

cat /proc/partitions

六 gfs2文件系统(网络文件系统)

1 iscsiadm -m discovery -t st -p 172.25.78.3

2 iscsiadm -m node -l

####以下操作在一个节点上进行###

3 fdisk   -cu   /dev/sda

4 pvcreate /dev/sda1

5 vgcreate clustervg /dev/sda1

6 lvcreate -L +2G -n demo clustervg

7 mkfs.gfs2 -j  3 -p lock_dlm -t haha:mygfs2 /dev/clustervg/demo ###-j指定日志的个数，默认日志的大小为128M，-p指定锁，-t：集群的名字

8 mount  /dev/clustervg/demo   /var/www/html ###两个节点都要挂载###

 

测试：在一个节点上将往例存东西，另一个节点也可以看到

####开机自动挂载####

1 vim /etc/fstab

内容：

UUID="6f35be88-3402-45a8-8cd1-2943906941f2"  /var/www/html  gfs2  _netdev,defaults     0        0

2 mount   -a

###lvm扩展###

1 lvextentd   -L  +4G   /dev/clustervg/demo

2 gfs2_grow    /dev/clustervg/demo