LVS-DR-Keepalived

Posted 袁❈晔

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了LVS-DR-Keepalived相关的知识，希望对你有一定的参考价值。

LVS-DR数据包流量分析

  • 客户端向目标VIP发送请求，负载均衡器接收;
  • 负载均衡器根据负载均衡算法选择后端真实服务器，不修改也不封装IP报文，而是将数据帧的MAC地址改为后端真实服务器的MAC地址，然后在局域网上发送;
  • 后端真实服务器收到这个帧，解封装后发现目标IP与本机匹配（事先绑定了VIP），于是处理这个报文。随后重新封装报文，将响应报文通过lo接口传送给物理网卡然后向外发出;
  • 客户端将收到回复报文。客户端认为得到正常的服务，而不会知道是哪一台服务器处理的;
  • 如果跨网段，则报文通过路由器经由 internet 返回给用户;

LVS-DR中的ARP问题

  • 在LVS-DR负载均衡集样中，负载均衡与节点服务器都要配置相同的VIP地址
  • 在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱。
  • 对节点服务器进行处理，使其不响应针对VIP的ARP请求;解决方法：使用虚接口 lo:0 承载VIP地址设置内核参数 arp_ignore=1：系统只响应目的IP为本地 IP 的ARP请求
  • RealServer返回报文(源IP是VIP)经路由器转发，重新封装报文时,需要先获取路由器的MAC地址
  • 发送ARP请求时，Linux默认使用IP包的源IP地址(即VIP)作为ARP请求包中的源IP地址，而不使用发送接口的IP地址,如：ens33
  • 路由器收到ARP请求后，将更新ARP表项
  • 原有的VIP对应Director的MAC地址会被更新为VIP对应RealServer的MAC地址
  • 路由器根据ARP表项，会将新来的请求报文转发给Realserver，导致Director的VIP失效；解决方法：对节点服务器进行处理，设置内核参数 arp_announce=2：系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址。

解决ARP的两个问题的设置方法

修改 /etc/sysctl.conf 文件
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

LVS-DR 特性

  • Director Server和Real Server必须在同一-个物理网络中。
  • Real Server可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对RIP进行直接访问。
  • Director Server作为群集的访问入口，但不作为网关使用。
  • 所有的请求报文经由Director Server，但回复响应报文不能经过Director Server
  • Real Server的网关不允许指向Director Server IP，即Real Server发送的数据包不允许经过Director Server。
  • Real Server上的10接口配置VIP的IP地址。
     

Keepalived

  • 支持故障自动切换（Failover）
  • 支持节点健康状态检查（Health Checking）
  • 判断LVS负载调度器、节点服务器的可用性，当master主机出现故障及时切换到backup节点保证业务正常，当 master 故障主机恢复后将其重新加入群集并且业务重新切换回 master 节点。

Keepalived实现原理剖析

eepalived采用VRRP热备份协议实现Linux 服务器的多机热备功能
VRRP（虚拟路由冗余协议）是针对路由器的一种备份解决方案。
由多台路由器组成一个热备份组，通过共用的虚拟IP地址对外提供服务
每个热备组内同时只有一台主路由器提供服务，其他路由器处于冗余状态
若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务

LVS-DR-Keepalived部署

环境准备

服务器	                             IP地址配置	           需要的工具
主负载调度器（Director1）ens33：    192.168.220.10	 ipvsadm、keepalived（热备）
备负载调度器（Director2）ens33：    192.168.220.20	 ipvsadm、keepalived
web服务器1 ens33	               192.168.220.40	
lo:0 (VIP)：	                   192.168.220.100	         httpd
web服务器2 ens33	               192.168.220.50	
lo:0 (VIP)：	                   192.168.220.100	         httpd
centos客户端	                   192.168.220.60	       web浏览器
centos客户端	                   192.168.220.70	       web浏览器

LVS调度服务器配置（主-备）

systemctl stop firewalld.service
setenforce 0

yum -y install ipvsadm keepalived
modprobe ip_vs     #加载ip_vs模块
cat /proc/net/ip_vs  #查看ip_vs版本信息

cd /etc/sysconfig/network-scripts/
cp -p ifcfg-ens33 ifcfg-ens33:0
vim ifcfg-ens33:0
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.220.100
NETMASK=255.255.255.255

ifup ens33:0
ifconfig ens33:0

#调整proc响应参数
#由于LVS负载均衡器和各节点需要共用vip地址，应该关闭linux内核的重定向响应参数，不充当路由器（转发、重定向）
vim /etc/sysctl.conf
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

sysctl -p

#配置负载分配策略
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm

vim /opt/dr.sh
#!/bin/bash
ipvsadm -C
ipvsadm -A -t 192.168.220.10:80 -s rr       #这里指定的虚拟IP为ens33网卡ip，重启keepliaved后会自动绑定虚拟网卡
ipvsadm -a -t 192.168.220.10:80 -r 192.168.220.40:80 -g
ipvsadm -a -t 192.168.220.10:80 -r 192.168.220.50:80 -g
ipvsadm

ipvsadm -Lnc

web站点服务器配置

1.配置虚拟IP地址

此地址仅用做发送Web响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）
因此使用虚接口 lo:0 来承载VIP地址，并为本机添加一条路由记录，将访问VIP的数据限制在本地，以避免通信紊乱。

cd /etc/sysconfig/network-scripts/
cp -p ifcfg-lo ifcfg-lo:0
vim ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.220.100
NETMASK=255.255.255.255

ifup lo:0
ifconfig lo:0

route add -host 192.168.220.100 dev lo:0   #禁锢路由
route -n    #查看路由

#配置启动管理执行路由禁锢
vim /etc/rc.local
/sbin/route add -host 192.168.220.100 dev lo:0

yum -y install httpd

2.调整内核的ARP响应参数以阻止更新VIP的MAC地址，避免冲突

vim /etc/sysctl.conf

net.ipv4.conf.lo.arp_ignore = 1  
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

sysctl -p

systemctl start httpd

web1:
vim /var/www/html/index.html
<html>
<body>
<meta http-equiv="Content-Type" content="text/html;charset=utf-8">
<h1>dzw</h1>
</body>
</html>

web2:
vim /var/www/html/index.html
<html>
<body>
<meta http-equiv="Content-Type" content="text/html;charset=utf-8">
<h1>dzw1</h1>
</body>
</html>

部署keepalived（主-备）

cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
vim keepalived.conf
global_defs              #定义全局参数
      router_id lvs_01

vrrp_instance vi_1        #定义VRRP热备实例参数
      state MASTER         #指定热备状态，主为master，备为backup
      interface ens33      #指定承载vip地址的物理接口
      virtual_router_id 51 #指定虚拟路由器的ID号，每个热备组保持一致
      priority 110		   #指定优先级，数值越大越优先
      advert_int 1
      authentication 
           auth_type PASS
           auth_pass 6666
 
virtual_ipaddress         #指定集群VIP地址
      192.168.220.100


#指定虚拟服务器地址vip，端口，定义虚拟服务器和web服务器池参数
virtual_server 192.168.220.100 80  
      lb_algo rr                #指定调度算法，轮询（rr）
      lb_kind DR				#指定集群工作模式，直接路由DR
      persistence_timeout 6		#健康检查的间隔时间
      protocol TCP				#应用服务采用的是TCP协议
#指定第一个web节点的地址，端口
real_server 192.168.220.40 80 
      weight 1					#节点权重
      TCP_CHECK 
          connect_port 80		#添加检查的目标端口
          connect_timeout 3		#添加连接超时
          nb_get_retry 3		#添加重试次数
          delay_before_retry 3	#添加重试间隔
   

#指定第二个web节点的地址，端口
real_server 192.168.220.50 80 
      weight 1
      TCP_CHECK 
          connect_port 80
          connect_timeout 3
          nb_get_retry 3
          delay_before_retry 3
   



systemctl restart keepalived

以上是关于LVS-DR-Keepalived的主要内容，如果未能解决你的问题，请参考以下文章

直接进去正题！LVS-DR模式keppalived及LVS-DR-keepalived部署！

封杀太愚蠢，马斯克喊话解封特朗普推特账号！

封杀太愚蠢，马斯克喊话解封特朗普推特账号！

封杀太愚蠢，马斯克喊话解封特朗普推特账号！

转载 iptables 禁用与 解封ip

通过 C# 和 Java 之间的 protobuf-net 进行序列化/解封