LVS DR配置和keepalived+LVS

Posted 2021-01-05

LVS DR

准备工作
群集的虚拟VIP：192.168.1.222
dir分发器：192.168.1.220
rs1:192.168.1.223
rs2:192.168.1.234

rs1和rs2安装需要的web服务

[[email protected] src]# yum install -y nginx

在dir上安装ipvsadm，并配置路由转发和ipvsadm转发

#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/usr/sbin/ipvsadm
vip=192.168.1.222
rs1=192.168.1.234
rs2=192.168.1.223
ifdown ens33
ifup ens33 ? ? #重启网卡是为了清除原有的配置信息
#将虚拟ip配置到ens33的虚拟网口上，并指定vip的数据网关
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev ens33:2
#清除ipvsadm原有的配置，配置对应的群集web主机的ip和端口.rs配置一个主机ip对应群集的vip(虚拟ip)
$ipv -C
$ipv -A -t $vip:80 -s wrr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

为了让处理完的数据直接通过群集的vip返回给客户端，不再经过dir分发器，减少了分发器的处理压力。rs1和rs2上也需要配置群集vip，并开启路由转发，数据通过lo:0的虚拟VIP直接响应客户端的数据请求

#!/bin/bash
vip=192.168.1.222
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
ifdoen lo
ifup lo
route add -host $vip lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

测试访问群集的vip。分发器会按照轮询算法来分配给后端web服务器处理

在windows浏览器中访问时会有等待时间。等待一会刷新就可以验证到不同主机的访问了(web服务器提供不同的首页内容来加以判断)

keepalived+LVS负载均衡

为什么需要keepalived+LVS的结构

在使用lvs分发数据时，lvs分发点是单一的，一但分发器故障的话会导致整个后端web无法访问。并且如果后端如果web服务器发生故障，LVS同样会把请求交给这台故障的服务器IP。但是这样的话会无法完成这次访问请求，因为分发到的web服务器不可能去响应这个请求

keepalived+lvs ?准备工作

dir分发器：192.168.1.220
dr1：192.168.1.223
dr2:192.168.1.234
群集使用的VIP:192.168.1.200

在dir分发器上安装keepalived
如果有两台以上的keepalived。那么就需要配置高可用，这里没有配置高可用服务

[[email protected] src]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
 ? ?#备用服务器上为 BACKUP
 ?  state MASTER
 ? ?#绑定vip的网卡为ens33，你的网卡和阿铭的可能不一样，这里需要你改一下
 ?  interface ens33
 ?  virtual_router_id 51
 ? ?#备用服务器上为90
 ?  priority 100
 ?  advert_int 1
 ?  authentication {
 ? ? ?  auth_type PASS
 ? ? ?  auth_pass aminglinux
 ?  }
 ?  virtual_ipaddress {
 ? ? ? ?192.168.1.200 ? ? ? #指定虚拟ip的配置
 ?  }
}
virtual_server 192.168.1.200 80 { ?#指定虚拟ip的配置,并指定访问端口
 ? ?#(每隔10秒查询realserver状态) ?
 ?  delay_loop 10
 ? ?#(lvs 算法)
 ?  lb_algo wlc
 ? ?#(DR模式)
 ?  lb_kind DR
 ? ?#(同一IP的连接60秒内被分配到同一台realserver)
 ?  persistence_timeout 60
 ? ?#(用TCP协议检查realserver状态)
 ?  protocol TCP

 ?  real_server 192.168.1.223 80 {
 ? ? ? ?#(权重)
 ? ? ?  weight 100
 ? ? ?  TCP_CHECK {
 ? ? ? ?#(10秒无响应超时)
 ? ? ?  connect_timeout 10
 ? ? ?  nb_get_retry 3
 ? ? ?  delay_before_retry 3
 ? ? ?  connect_port 80
 ? ? ?  }
 ?  }
 ?  real_server 192.168.1.234 80 {
 ? ? ?  weight 100
 ? ? ?  TCP_CHECK {
 ? ? ?  connect_timeout 10
 ? ? ?  nb_get_retry 3
 ? ? ?  delay_before_retry 3
 ? ? ?  connect_port 80
 ? ? ?  }
 ? ? }
}

在分发器上开启路由转发功能，让请求数据转发到后端的web server上，由web server去处理请求
echo 1 > /proc/sys/net/ipv4/ip_forward
rs1和rs2上的路由转发：在后端的web server上开启路由转发，且配置虚拟ip地址，让处理后返回的数据直接通过配置的vip响应给客户端

#!/bin/bash
vip=192.168.1.200
ipdown lo
ipup lo
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

清除之前测试产生的ipvsadm配置，然后启动keepalived服务，注意这里是单台keepalived，配置高可用需要两台及以上的数量

[[email protected] src]# ipvsadm -C
[[email protected] src]# systemctl restart keepalived
[[email protected] src]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
 ?-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.1.220:80 wlc persistent 60
 ?-> 192.168.1.223:80 Route 100 0 0 ? ? ? ? 
 ?-> 192.168.1.234:80 Route 100 0 0 ?

清除分发服务器上公网网口的虚拟ip或其他配置，然后启动keepalived服务并查看网卡上的虚拟ip是否存在

[[email protected] src]# ifdown ens33 && ifup ens33
Device ‘ens33‘ successfully disconnected.
Connection successfully activated (D-Bus active path: /org/freedesktop/NetworkManager/ActiveConnection/3)
[[email protected] src]# systemctl restart keepalived
[[email protected] src]# ip a
lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
?  link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
?  inet 127.0.0.1/8 scope host lo
? ? ? valid_lft forever preferred_lft forever
?  inet6 ::1/128 scope host 
? ? ? valid_lft forever preferred_lft forever
ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
?  link/ether 00:0c:29:e2:85:91 brd ff:ff:ff:ff:ff:ff
?  inet 192.168.1.220/24 brd 192.168.1.255 scope global ens33
? ? ? valid_lft forever preferred_lft forever
?  inet 192.168.1.200/32 scope global ens33 ? ? ? ? ? ? ?  <-------1.200是配置的虚拟ip
? ? ? valid_lft forever preferred_lft forever
?  inet6 fe80::1e68:a845:d31f:1bbc/64 scope link 
? ? ? valid_lft forever preferred_lft forever

?web server启动nginx服务， 在浏览器中进行访问测试
暂停一个web server的服务，并在分发服务器上查看ipvsadm的配置，是否剔除掉了故障的服务器