六十LVS DR模式搭建Keepalived+LVS DR

Posted 2020-11-08

六十三、LVS DR模式搭建、Keepalived+LVS DR

一、LVS DR模式搭建

准备工作：

三台机器

只需要一个网卡，一个IP

分发器，也叫调度器（简写为dir）

93.130

rs1

93.131     网关改回93.2

rs2

93.132      网关改回93.2

vip

93.200

dir上编写脚本 vim /usr/local/sbin/lvs_dr.sh //内容如下

#! /bin/bash

echo 1 > /proc/sys/net/ipv4/ip_forward

ipv=/usr/sbin/ipvsadm

vip=192.168.93.200

rs1=192.168.93.131

rs2=192.168.93.132

#注意这里的网卡名字

ifdown ens33

ifup ens33           //这里ifdown再ifup，再执行这个脚本时，就不会重复设置这个IP了。

ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up //绑定VIP的；ifconfig这个命令可以给一个网卡设置个虚拟网卡，虚拟网卡叫ens33:2

route add -host $vip dev ens33:2     //添加网关

$ipv -C

$ipv -A -t $vip:80 -s rr

$ipv -a -t $vip:80 -r $rs1:80 -g -w 1

$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

解析：

-C：清空规则

-g：DR模式

两台rs上也编写脚本 vim /usr/local/sbin/lvs_rs.sh//内容如下

#/bin/bash

vip=192.168.93.200

ifdown lo

ifup lo

#下面这条是把vip绑定在lo上，是为了实现rs直接把结果返回给客户端

ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up

route add -host $vip lo:0

#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端

#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

分别在dir上和两个rs上执行这些脚本

route -n可以看到有个93.200

rs上ip add看一下lo是不是也绑定了这个93.200

dir上ip add看到ens33有个93.200

测试

用火狐浏览器访问192.168.93.200，然后重复的ctrl+F5可以看到效果。一直在rs1和rs2上切换访问着。

二、Keepalived+LVS DR

完整架构需要两台服务器（角色为dir）分别安装keepalived软件。

目的是实现高可用，但keepalived本身也有负载均衡的功能，所以本次实验可以只安装一台keepalived。

keepalived内置了ipvsadm的功能，所以不需要再安装ipvsadm包，也不用编写和执行那个lvs_dir的脚本

LVS并不聪明，即使后端的rs宕机了，它还会把请求转发过去,然后访问的时候就会显示无法连接。

Keepalived就是为了解决这个问题，当请求分发过来时，它可以检测到后端的rs宕机了，就不再把请求分发给它了。

三台机器分别为：

dir（安装keepalived）93.130

rs1 93.131

rs2 93.132

vip 93.200

dir上编辑keepalived配置文件

# vim /etc/keepalived/keepalived.conf

vrrp_instance VI_1 {

#备用服务器上为 BACKUP

state MASTER

#绑定vip的网卡为ens33，你的网卡和阿铭的可能不一样，这里需要你改一下

interface ens33

virtual_router_id 51

#备用服务器上为90

priority 100

advert_int 1

authentication {

auth_type PASS

auth_pass aminglinux

}

virtual_ipaddress {

192.168.93.200

}

}

virtual_server 192.168.93.200 80 {

#(每隔10秒查询realserver状态，检查rs是否正常，这里控制频率)

delay_loop 10

#(lvs 算法)

lb_algo wlc

#(DR模式，如果是NAT就写NAT)

lb_kind DR

#(同一IP的连接60秒内被分配到同一台realserver)

persistence_timeout 0

#(用TCP协议检查realserver状态)

protocol TCP

real_server 192.168.93.131 80 {

#(weight权重)

weight 100

TCP_CHECK {

#(10秒无响应超时)

connect_timeout 10

nb_get_retry 3

delay_before_retry 3

connect_port 80

}

}

real_server 192.168.93.132 80 {

weight 100

TCP_CHECK {

connect_timeout 10

nb_get_retry 3

delay_before_retry 3

connect_port 80

}

}

}

# systemctl start keepalived

# ipvsadm -ln

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  192.168.93.200:80 wlc

-> 192.168.93.131:80            Route   100    0          0

-> 192.168.93.132:80            Route   100    0          0

可以看到有两条规则，如果没有，在dir上把Keepalived停掉，再到rs上把nginx重启一下，再回dir上启动Keepalived就可以看到了，这里如果看不到了，说明Keepalived把宕机的rs剔除了

需要更改里面的ip信息

执行ipvsadm -C  把之前的ipvsadm规则清空掉

systemctl restart network 可以把之前的vip清空掉

两台rs上，依然要执行/usr/local/sbin/lvs_rs.sh脚本

keepalived有一个比较好的功能，可以在一台rs宕机时，不再把请求转发过去

测试

扩展

haproxy+keepalived http://blog.csdn.net/xrt95050/article/details/40926255

nginx、lvs、haproxy比较 http://www.csdn.net/article/2014-07-24/2820837

keepalived中自定义脚本 vrrp_script http://my.oschina.net/hncscwc/blog/158746

lvs dr模式只使用一个公网ip的实现方法 http://storysky.blog.51cto.com/628458/338726