33 linux集群架构

Posted 2020-10-30

1. 简介
   根据功能划分为两大类：高可用和负载均衡
   高可用集群通常为两台服务器，一台工作，另外一台作为冗余，当提供服务的机器宕机，冗余将接替继续提供服务

   负载均衡集群，需要有一台服务器作为分发器，它负责把用户的请求分发给后端的服务器处理，在这个集群里，除了分发器外，就是给用户提供服务的服务器了，这些服务器数量至少为2

2. 高可用开源软件:keepalived
   keepalived通过VRRP（Virtual Router Redundancy Protocl）来实现高可用。
   在这个协议里会将多台功能相同的路由器组成一个小组，这个小组里会有1个master角色和N（N>=1）个backup角色。
   master会通过组播的形式向各个backup发送VRRP协议的数据包，当backup收不到master发来的VRRP数据包时，就会认为master宕机了。此时就需要根据各个backup的优先级来决定谁成为新的mater。
   Keepalived要有三个模块，分别是core、check和vrrp。其中core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析，check模块负责健康检查，vrrp模块是来实现VRRP协议的。

   配置
   准备两台机器131和130，131作为master，130作为backup
   两台机器都执行yum install -y keepalived
   两台机器都安装nginx，其中131上已经编译安装过nginx，130上需要yum安装nginx: yum install -y nginx
   设定vip（虚拟ip，主从公有的ip，主机宕机时按照此ip继续解析可以从机接上）为100
   vim /etc/keepalived/keepalived.conf删除原有内容，编辑131上keepalived配置文件，内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_keepalived.conf 获取
   vim /usr/local/sbin/check_ng.sh 131编辑监控脚本，内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_check_ng.sh 获取
   给脚本755权限
   systemctl start keepalived 131启动服务

   130上编辑配置文件，内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_keepalived.conf 获取
   130上编辑监控脚本，内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_check_ng.sh 获取
   给脚本755权限
   130上也启动服务 systemctl start keepalived

3. 均衡负载开源软件:LVS
   NAT模式
   三台机器
   分发器，也叫调度器（简写为dir）
   内网：133.130，外网：142.147（vmware仅主机模式）
   rs1
   内网：133.132，设置网关为133.130
   rs2
   内网：133.133，设置网关为133.130
   三台机器上都执行执行
   systemctl stop firewalld; systemc disable firewalld
   systemctl start iptables-services; iptables -F; service iptables save
   在dir上安装ipvsadm
   yum install -y ipvsadm
   在dir上编写脚本，vim /usr/local/sbin/lvs_nat.sh//内容如下
   #! /bin/bash
   #director 服务器上开启路由转发功能
   echo 1 > /proc/sys/net/ipv4/ip_forward
   #关闭icmp的重定向
   echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
   echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
   #注意区分网卡名字，阿铭的两个网卡分别为ens33和ens37
   echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects
   echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects
   #director 设置nat防火墙
   iptables -t nat -F
   iptables -t nat -X
   iptables -t nat -A POSTROUTING -s 192.168.133.0/24 -j MASQUERADE
   #director设置ipvsadm
   IPVSADM=‘/usr/sbin/ipvsadm‘
   $IPVSADM -C
   $IPVSADM -A -t 192.168.147.144:80 -s wlc -p 3
   $IPVSADM -a -t 192.168.147.144:80 -r 192.168.133.132:80 -m -w 1
   $IPVSADM -a -t 192.168.147.144:80 -r 192.168.133.133:80 -m -w 1

   DR模式
   三台机器
   分发器，也叫调度器（简写为dir）
   133.130
   rs1
   133.132
   rs2
   133.133
   vip
   133.200
   dir上编写脚本 vim /usr/local/sbin/lvs_dr.sh //内容如下
   #! /bin/bash
   echo 1 > /proc/sys/net/ipv4/ip_forward
   ipv=/usr/sbin/ipvsadm
   vip=192.168.133.200
   rs1=192.168.133.132
   rs2=192.168.133.133
   #注意这里的网卡名字
   ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
   route add -host $vip dev ens33:2
   $ipv -C
   $ipv -A -t $vip:80 -s wrr
   $ipv -a -t $vip:80 -r $rs1:80 -g -w 1
   $ipv -a -t $vip:80 -r $rs2:80 -g -w 1
   两台rs上也编写脚本 vim /usr/local/sbin/lvs_rs.sh//内容如下
   #/bin/bash
   vip=192.168.133.200
   #把vip绑定在lo上，是为了实现rs直接把结果返回给客户端
   ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
   route add -host $vip lo:0
   #以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
   #参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
   echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
   echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
   echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
   echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
   分别在dir上和两个rs上执行这些脚本

   Keepalived+LVS
   完整架构需要两台服务器（角色为dir）分别安装keepalived软件，目的是实现高可用，但keepalived本身也有负载均衡的功能，所以本次实验可以只安装一台keepalived
   keepalived内置了ipvsadm的功能，所以不需要再安装ipvsadm包，也不用编写和执行那个lvs_dir的脚本
   三台机器分别为：
   dir（安装keepalived）133.130
   rs1 133.132
   rs2 133.133
   vip 133.200
   编辑keepalived配置文件 vim /etc/keepalived/keepalived.conf//内容请到https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/lvs_keepalived.conf 获取
   需要更改里面的ip信息
   执行ipvsadm -C 把之前的ipvsadm规则清空掉
   systemctl restart network 可以把之前的vip清空掉
   两台rs上，依然要执行/usr/local/sbin/lvs_rs.sh脚本
   keepalived有一个比较好的功能，可以在一台rs宕机时，不再把请求转发过去
   测试