LVS负载均衡群集架构：DR模式群集部署
Posted 可乐卷儿
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了LVS负载均衡群集架构：DR模式群集部署相关的知识，希望对你有一定的参考价值。
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档
文章目录
一、LVS-DR数据包流量分析
同一局域网中
- 客户端向目标VIP发送请求，负载均衡器接收
- 负载均衡器根据负载均衡算法选择后端真实服务器，不修改也不封装IP报文，而是将数据帧的
MAC地址改为后端真实服务器的MAC地址，然后在局域网上发送 - 后端真实服务器收到这个帧，解封装后发现目标IP与本机匹配（事先绑定了VIP），于是处理
这个报文。 - 随后重新封装报文，将响应报文通过lo接口传送给物理网卡然后向外发出客户端将收到回复报文；客户端认为得到正常的服务，而不会知道是哪一台服务器处理的如果跨网段，则报文通过路由器经由 internet 返回给用户
二、LVS-DR中的ARP问题
- 在LVS-DR负载均衡集样中，负载均衡与节点服务器都要配置相同的VIP地址
- 在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱。
- 对节点服务器进行处理，使其不响应针对VIP的ARP请求
解决方法
使用虚接口 lo:0 承载VIP地址设置内核参数 arp_ignore=1：系统只响应目的IP为本地 IP 的ARP请求 - RealServer返回报文(源IP是VIP)经路由器转发，重新封装报文时,需要先获取路由器的MAC地址
- 发送ARP请求时，Linux默认使用IP包的源IP地址(即VIP)作为ARP请求包中的源IP地址，而不使
用发送接口的IP地址如：ens33 - 路由器收到ARP请求后，将更新ARP表项
- 原有的VIP对应Director的MAC地址会被更新为VIP对应RealServer的MAC地址
- 路由器根据ARP表项，会将新来的请求报文转发给Realserver，导致Director的VIP失效
解决方法：对节点服务器进行处理，设置内核参数arp_announce=2：系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址
三、解决ARP的两个问题的设置方法
修改 /etc/sysctl.conf 文件
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
四、Keepalived
-
Keepalived
支持故障自动切换（Failover）
支持节点健康状态检查（Health Checking）
判断LVS负载调度器、节点服务器的可用性，当master主机出现故障及时切换到backup节点保证业务正常，当 master 故障主机恢复后将其重新加入群集并且业务重新切换回 master 节点（优先级）。 -
Keepalived实现原理剖析
keepalived采用VRRP热备份协议实现Linux 服务器的多机热备功能
VRRP（虚拟路由冗余协议）是针对路由器的一种备份解决方案。
由多台路由器组成一个热备份组，通过共用的虚拟IP地址对外提供服务
每个热备组内同时只有一台主路由器提供服务，其他路由器处于冗余状态
若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务
snmp 通过网络管理服务器、交换机、路由器等设备的一种协议
在keepalived SNMP管理的是健康检查(状态)
PS: 在监控中也会通过snmp 监控、获取被监控服务器的数据
五、LVS-DR-Keepalived部署
1、环境准备
| 服务器 | IP地址配置 | 需要的工具 |
|---|---|---|
| 主负载调度器（Director1） | ens33：192.168.35.40 | ipvsadm、keepalived（热备） |
| 备负载调度器（Director2） | ens33：192.168.35.30 | ipvsadm、keepalived |
| web服务器1 ens33 | 192.168.35.10 | |
| lo:0 (VIP)： | 192.168.35.100 | httpd |
| web服务器2 ens33 | 192.168.35.20 | |
| lo:0 (VIP)： | 192.168.35.100 | httpd |
| centos客户端 | 192.168.35.300 | web浏览器 |
| centos客户端 | 192.168.35.400 | web浏览器 |
2、LVS调度服务器配置（主-备）
systemctl stop firewalld.service
setenforce 0
yum -y install ipvsadm
modprobe ip_vs #加载ip_vs模块
cat /proc/net/ip_vs #查看ip_vs版本信息
cd /etc/sysconfig/network-scripts/
cp -p ifcfg-ens33 ifcfg-ens33:0
vim ifcfg-ens33:0
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.35.100
NETMASK=255.255.255.255
ifup ens33:0
ifconfig ens33:0
systemctl restart network
#LVS_02同样的操作
vim /etc/sysctl.conf #调整proc响应参数；由于LVS负载均衡器和各节点需要共用vip地址，应该关闭linux内核的重定向响应参数，不充当路由器（转发、重定向）
net.ipv4.ip_forward = 0 ##关闭路由转发
net.ipv4.conf.all.send_redirects = 0 ##关闭所有重定向
net.ipv4.conf.default.send_redirects = 0 ##关闭默认重定向
net.ipv4.conf.ens33.send_redirects = 0
sysctl -p
3、开启ipvsadm
modprobe ip_vs
cat /proc/net/ip_vs
4、配置负载分配策略
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm
vim /opt/dd.sh
#!/opt/dd.sh
ipvsadm -C ##清除
ipvsadm -A -t 192.168.35.100:80 -s rr ##指定的虚拟IP为ens33网卡ip，启动keepliaved后会自动绑定虚拟网卡
ipvsadm -a -t 192.168.35.100:80 -r 192.168.35.10:80 -g
ipvsadm -a -t 192.168.35.100:80 -r 192.168.35.20:80 -g
ipvsadm
-a：指定真实服务器
-r：指定真实服务器的地址
-g：DR模式
ipvsadm -Lnc
5、web站点服务器配置
web服务器1：
cd /etc/sysconfig/network-scripts/
cp -p ifcfg-lo ifcfg-lo:0
vim ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.35.100
NETMASK=255.255.255.255
ifcfg lo:0
route add -host 192.168.35.100 dev lo:0 ##禁锢路由
route -n
vim /etc/rc.local ##配置启动管理执行路由禁锢
/sbin/route add -host 192.168.35.100 dev lo:0
yum -y install httpd
wed2服务器同样的操作
6、两台web服务器调整内核的ARP响应参数
以阻止更新VIP的MAC地址，避免冲突
vim /etc/sysctl.conf
net.ipv4.conf.lo.arp_ignore = 1 ##环形接口的策略
net.ipv4.conf.lo.arp_announce = 2 ##环形接口的响应策略
net.ipv4.conf.all.arp_ignore = 1 ##所有接口的策略
net.ipv4.conf.all.arp_announce = 2 ##所有接口的响应策略
web1:
vim /var/www/html/index.html
<html>
<body>
<meta http-equiv="Content-Type" content="text/html;charset=utf-8">
<h1>this is klkl web</h1>
</body>
</html>
web2:
vim /var/www/html/index.html
<html>
<body>
<meta http-equiv="Content-Type" content="text/html;charset=utf-8">
<h1>this is zwzyt web</h1>
</body>
</html>
7、访问客户端
开启
访问192.168.35.100
以上是关于LVS负载均衡群集架构：DR模式群集部署的主要内容，如果未能解决你的问题，请参考以下文章