Linux集群：LVS搭建负载均衡集群

Posted 2020-10-30

一、DR模式LVS搭建

1、准备工作

• 调度器dir：192.168.242.128
• 真实服务器rs1：192.168.242.129，网关恢复为之前的原始网关
• 真实服务器rs2：192.168.242.130，网关恢复为之前的原始网关
• VIP：192.168.242.110

2、dir上编写脚本

[[email protected] ~]# vim /usr/local/sbin/lvs_dr.sh

#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/usr/sbin/ipvsadm
vip=192.168.242.110
rs1=192.168.242.129
rs2=192.168.242.130
#ifdown ifup 同等于重启网卡，对虚拟网卡进行重置
#防止再次启动脚本的时候，再次设置虚拟网卡的IP地址
ifdown ens33
ifup ens33
#注意这里的网卡名字
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev ens33:2
$ipv -C
$ipv -A -t $vip:80 -s rr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

[[email protected] ~]# sh /usr/local/sbin/lvs_dr.sh 
成功断开设备 ‘ens33‘。
成功激活的连接（D-Bus 激活路径：/org/freedesktop/NetworkManager/ActiveConnection/2）

3、rs上编写脚本（两台内容相同）

[[email protected] ~]# vim /usr/local/sbin/lvs_dr_rs.sh

#!/bin/bash
vip=192.168.242.110
ifdown lo
ifup lo
#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
#参考文档 www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce

[[email protected] ~]# sh /usr/local/sbin/lvs_dr_rs.sh

4、测试

我在这里是用的第四台虚拟机测试的，没有的话可以直接在浏览器输入VIP地址测试。

[[email protected] ~]# curl 192.168.242.110
LVS-zlinux03
[[email protected] ~]# curl 192.168.242.110
LVS-zlinux02
[[email protected] ~]# curl 192.168.242.110
LVS-zlinux03
[[email protected] ~]# curl 192.168.242.110
LVS-zlinux02
[[email protected] ~]# curl 192.168.242.110
LVS-zlinux03

二、keepalived+LVS

完整架构需要两台服务器（角色为dir）分别安装keepalived软件，目的是实现高可用，但keepalived本身也有负载均衡的功能，所以本次实验可以只安装一台keepalived；
keepalived内置了ipvsadm的功能，所以不需要再安装ipvsadm包，也不用编写和执行那个lvs_dir的脚本。

1、准备工作

主keepalived（调度器dir）：192.168.242.128
真实服务器rs1：192.168.242.129，网关恢复为之前的原始网关
真实服务器rs2：192.168.242.130，网关恢复为之前的原始网关
VIP：192.168.242.110

2、修改keepalived配置问价

[[email protected] ~]# cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak    //备份下配置文件
[[email protected] ~]# > /etc/keepalived/keepalived.conf     //清空
[[email protected] ~]# vim /etc/keepalived/keepalived.conf             //添加以下内容

vrrp_instance VI_1 {
    #备用服务器上为 BACKUP
    state MASTER 
    interface ens33 
    virtual_router_id 51
    #备用服务器上为90 
    priority 100 
        auth_pass zlinux
    }   
    virtual_ipaddress {
        192.168.242.110
    }   
}   
virtual_server 192.168.242.110 80 {
    #(每隔10秒查询realserver状态) 
    delay_loop 10 
    #(lvs 算法)
    lb_algo wlc
    #(DR模式)
    lb_kind DR
    #(同一IP的连接60秒内被分配到同一台realserver)
    persistence_timeout 0 
    #(用TCP协议检查realserver状态)
    protocol TCP 
    real_server 192.168.242.129 80 {
        #(权重) 
        weight 100
        TCP_CHECK {
        #(10秒无响应超时)
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }   
    real_server 192.168.242.130 80 {
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }  
}  

3、启动keepalived

[[email protected] ~]# ipvsadm -C           //清空之前的规则，因为之前执行过LVS脚本
[[email protected] ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
[[email protected] ~]# systemctl start keepalived     //启动
[[email protected] ~]# ps aux | grep keep
root       3406  0.0  0.0 120720  1404 ?        Ss   18:21   0:00 /usr/sbin/keepalived -D
root       3407  0.0  0.1 127464  3324 ?        S    18:21   0:00 /usr/sbin/keepalived -D
root       3408  0.0  0.1 131656  2848 ?        S    18:21   0:00 /usr/sbin/keepalived -D
root       3414  0.0  0.0 112680   976 pts/0    R+   18:25   0:00 grep --color=auto keep

还需要在两台rs上执行sh /usr/local/sbin/lvs_dr_rs.sh

4、测试

检验方法1：
在浏览器输入VIP192.168.242.110，然后故意停掉一台rs的nginx服务，然后刷新浏览器看结果。
检验方法2：
在调度器执行相关命令，查看连接数：

[[email protected] ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.242.110:80 wlc
  -> 192.168.242.129:80           Route   100    0          0         
[[email protected] ~]# ipvsadm -ln                 //打开另一台Nginx服务，刷新之后，两个连接
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.242.110:80 wlc
  -> 192.168.242.129:80           Route   100    0          0         
  -> 192.168.242.130:80           Route   100    1          0