Keepalived+ipvsadm 的DR模式简介与示例

Posted 2021-09-09 一饮孤与悲

LVS简介 ILVS，是Linux Virtual Server的简称，也就是Linux虚拟服务器, 是一个由章文嵩博士发起的自由软件项目。LVS由用户空间的ipvsadm和内核空间的IPVS组成，ipvsadm用来定义规则，IPVS利用ipvsadm定义的规则工作。现在LVS已经是 Linux标准内核的一部分，在Linux2.4内核以前，使用LVS时必须要重新编译内核以支持LVS功能模块，但是从Linux2.4内核以后，已经完全内置了LVS的各个功能模块，无需给内核打任何补丁，可以直接使用LVS提供的各种功能。

LVS特点：

通过LVS提供的负载均衡技术和Linux操作系统实现一个高性能、高可用的服务器群集，它具有良好可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的服务性能。LVS的主要特点有以下几个方面： 高并发连接：LVS基于内核网络层面工作，有超强的承载能力和并发处理能力。单台LVS负载均衡器，可支持上万并发连接。稳定性强：是工作在网络4层之上仅作分发之用，这个特点也决定了它在负载均衡软件里的性能最强，稳定性最好，对内存和cpu资源消耗极低。 成本低廉：硬件负载均衡器少则十几万，多则几十万上百万，LVS只需一台服务器和就能免费部署使用，性价比极高。 配置简单：LVS配置非常简单，仅需几行命令即可完成配置，也可写成脚本进行管理。 支持多种算法：支持多种论调算法，可根据业务场景灵活调配进行使用 支持多种工作模型：可根据业务场景，使用不同的工作模式来解决生产环境请求处理问题。 应用范围广：因为LVS工作在4层，所以它几乎可以对所有应用做负载均衡，包括http、数据库、DNS、ftp服务等等 缺点：工作在4层，不支持7层规则修改，机制过于庞大，不适合小规模应用。

LVS常见术语

LVS中有一些常见的术语，如下表所示：  

名称	解释
ipvsadm	用户空间的命令行工具，用于管理集群服务及集群服务上的RS等；
IPVS	工作于内核上的netfilter INPUT HOOK之上的程序，可根据用户定义的集群实现请求转发；
VS	Virtual Server ,虚拟服务
Director, Balancer	负载均衡器、分发器
RS	Real Server 后端请求处理服务器
CIP	Client IP,客户端IP
VIP	Director Virtual IP,负载均衡器虚拟IP
DIP	Director IP,负载均衡器IP
RIP	Real Server IP,后端请求处理服务器IP

  LVS工作原理 如果对于iptables5条链不了解的同学，麻烦先去看下这个知识点。这5条链是当数据包流向这台服务器的时候，数据包在服务器内核中的流向。可以参考下面这篇文章： iptables工作原理链接 LVS工作原理： 当客户端的请求到达负载均衡器的内核空间时，首先会到达PREROUTING链。 当内核发现请求数据包的目的地址是本机时，将数据包送往INPUT链。 LVS由用户空间的ipvsadm和内核空间的IPVS组成，ipvsadm用来定义规则，IPVS利用ipvsadm定义的规则工作，IPVS工作在INPUT链上,当数据包到达INPUT链时，首先会被IPVS检查，如果数据包里面的目的地址及端口没有在规则里面，那么这条数据包将经过INPUT链送至用户空间，交给用户空间的进程来处理。 如果数据包里面的目的地址及端口在规则里面，那么这条数据报文将被修改目的地址为事先定义好的后端服务器，并送往POSTROUTING链。 最后经由POSTROUTING链发往后端服务器。  

DR模式

Virtual Server via Direct Routing(VS-DR):用直接路由技术实现虚拟服务器｡当参与集群的计算机和作为控制管理的计算机在同一个网段时可以用此方法,控制管理的计算机接收到请求包时直接送到参与集群的节点｡直接路由模式比较特别，很难说和什么方面相似，前种模式基本上都是工作在网络层上（三层），而直接路由模式则应该是工作在数据链路层上（二层）。 工作原理 ： 如上图所示，Director和REAL SERVER都配置同一个IP（VIP），Director将该IP配置到对外的网卡上，Real server将该IP配置到lo网卡上。配置arp_ignore为1（目的是让数据包发出apr请求时，只有Director会响应该arp请求），所有REAL SERVER对本身这个IP的ARP请求保持静默。而Director收到数据包后根据调度算法，找出对应的 REAL SERVER，把目的MAC地址改为REAL SERVER的MAC并发给这台REAL SERVER。这时REAL SERVER通过网卡eth0收到这个数据包，由于Real Server上的lo网卡配置的也有VIP,所以RS接收该数据包。处理后直接返回给客户端（这里要配置arp_announce，目的是修改返回数据包的源ip地址。）。由于DR要对二层包头进行改换，所以DR和REAL SERVER之间必须在一个广播域，也可以简单的理解为在同一台交换机上。

内核参数详解

arp_ignore

arp_announce

不修改的话，回答数据包源ip地址为VIP，mac为发送网卡的mac即途中的eth0，那么交换机上更新mac表之后，就会发现VIP对应两条mac记录，一条对应Director的mac地址，一条对应Real Server的mac地址。就会使真正的VIP得不到正确的请求了 相对于NAT模式来言，DR模式能够较好的解决上述问题，其数据在服务器集群中的流向如上图所示，请求报文经过LVS到达后端真实的WEB服务器，而响应报文，则直接发给客户端，并不需要通过调度器。 数据包流转过程 用户请求目标网站时，经过dns查询得到目的IP为VIP，目的端口为80，于是客户端和我们VIP，端口80建立连接。当数据包到达VIP所在的局域网时，在同一网段中，两个主机通信靠的是二层的物理地址而不是Ip地址，因此需要将IP地址转换为MAC地址，因此会发出apr请求，查询VIP对应的mac地址。==Linux主机有这么一个特性，假设我们的主机上有两块网卡，比如eth0,eth1 当arp请求eth1的mac地址的时候，eth1会答复，这个是理所当然的，但是eth0也会“好心”的帮eth1回答这个arp请求。==我们在Real Server的lo网卡上配置了VIP，但是我们只想让Director上的网卡来响应我们的这个arp请求。因此就需要更改下我们的一些内核参数，具体含义见后文。这时，数据包就得到了二层的Director的传输地址。 net.ipv4.conf.lo.arp_ignore = 1   net.ipv4.conf.all.arp_ignore = 1 正常情况下只写第二条就是了，all 是指所有设备的interface，当all和具体的interface比如lo，按照最大的值生效； 当用户请求到达DirectorServer，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP。 PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链. IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址 由于DS和RS在同一个网络中，所以是通过二层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server。 client的请求被Director转发并经过链路层寻址到达Realserver后，由于Realserver的lo接口配置了VIP(请求中的目标IP正是VIP)，所以接收请求并处理。处理完成之后，将响应报文通过lo接口传送给eth0网卡（这个网卡一般指和调度器在一个网段的网卡）然后向外发出。此时的源IP地址为VIP，目标IP为CIP。==如果将源地址为VIP将数据包发送出去，那么最终交换机上会产生两条VIP对应的mac地址记录，一条是Director的mac地址记录，还有一条是Real server的mac地址记录，这将会导致真正的VIP无法接收到请求。==因此，此处要配置arp_announce，目的是为了修改源ip的目的地址。 net.ipv4.conf.lo.arp_announce = 2   net.ipv4.conf.all.arp_announce = 2 配置arp_announce=2，选择该主机发送网卡上最合适的本地地址作为arp请求的源IP地址。 9. 响应报文通过二层链路传输，最终送达至客户端。   实验环境

| 主机 | 操作系统 |ip地址 |主要软件
| -------- | -------- | -------- |
| keepalivedMaster| Centos7 |192.168.0.10 |keepalived、ipvsadm

| keepalivedBackup| Centos7 |192.168.0.11 |keepalived、ipvsadm

|客户机| win7 |192.168.0.1 |网页浏览器

VIP地址192.168.0.12

案例操作

一、安装两台nginx服务器
1、安装环境包

2、下载nginx包

3、解压编译

4、优化

5、修改网页站点

6、关闭防火墙、开启Nginx服务

7、客户机测试访问

 

二 配置ipvsadm调度服务器

1.下载keepaliveed 和 ipvsadm

yum -y install keepalived ipvsadm

2.关闭防火墙 开启路由转发功能

[root@bogon ~]# systemctl stop firewalld.service
[root@bogon ~]# systemctl disable firewalld.service
[root@bogon ~]# setenforce 0
[root@bogon ~]# vim /etc/sysctl.conf #添加如下四行内容
net.ipv4.ip_forward=1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects =0
sysctl -p #刷新即时生效

3.复制ens33网卡，是指虚拟IP

[root@bogon ~]# cd /etc/sysconfig/network-scripts/
[root@bogon network-scripts]# cp ifcfg-ens33 ifcfg-ens33:0
[root@bogon network-scripts]# vim ifcfg-ens33:0 #删除原有内容，添加如下4行
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.0.12
NETMASK=255.255.255.0
[root@bogon network-scripts]# ifup ens33:0 #启动ens33:0网卡

4.配置ipvsadm启动脚本

vim /etc/init.d/dr.sh

#!/bin/bash
GW=192.168.0.1
#网关
VIP=192.168.0.12
#虚拟ip
RIP1=192.168.0.10
#nginx1服务器ip
RIP2=192.168.0.11
#nginx2服务器ip
case "$1" in
start)
        /sbin/ipvsadm --save > /etc/sysconfig/ipvsadm
        systemctl start ipvsadm
        /sbin/ifconfig ens33:0 $VIP broadcast $VIP netmask 255.255.255.255 broadcast $VIP up
        /sbin/route add -host $VIP dev ens33:0
        /sbin/ipvsadm -A -t $VIP:80 -s rr
        /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g
        /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
        echo "ipvsadm starting --------------------[ok]"
        ;;
        stop)
        /sbin/ipvsadm -C
        systemctl stop ipvsadm
        ifconfig ens33:0 down
        route del $VIP
        echo "ipvsamd stoped----------------------[ok]"
         ;;
        status)
        if [ ! -e /var/lock/subsys/ipvsadm ];then
        echo "ipvsadm stoped---------------"
        exit 1
                else
                echo "ipvsamd Runing ---------[ok]"
        fi
        ;;
        *)
        echo "Usage: $0 {start|stop|status}"
        exit 1
        esac
        exit 0

5.添加脚本权限，启动ipvsadm

# chmod+x /etc/init.d/dr.sh

# service dr.sh start

 

三、回到Nginx节点服务器配置虚拟ip
1、复制ifcfg-lo网卡，进行修改

[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@localhost network-scripts]# vim ifcfg-lo:0 #删除原本内容，添加如下4行
DEVICE=lo:0
IPADDR=192.168.0.12
NETMASK=255.255.255.0
ONBOOT=yes

2.设置ifcfg-lo:0 启动脚本

[root@localhost network-scripts]# cd /etc/init.d/
[root@localhost init.d]# vim lo.sh

#!/bin/bash
VIP=192.168.0.12
#虚拟ip
        case "$1" in
        start)
                ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
                /sbin/route add -host $VIP dev lo:0
                echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
                echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
                echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
                echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
                sysctl -p >/dev/null 2>&1
                echo "RealServer Start OK "
                ;;
        stop)
                ifconfig lo:0 down
                route del $VIP /dev/null 2>&1
                echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
                echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
                echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
                echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
                echo "RealServer Stopd"
                ;;
        *)
                echo "Usage: $0 {start|stop}"
                exit 1
        esac
        exit 0

 

3.添加脚本权限，启动lo:0网卡

[root@localhost init.d]# chmod +x lo.sh
[root@localhost init.d]# service lo.sh start
[root@localhost init.d]# ifup lo:0

4、本地再次自测站点

 

四、配置Keepalived

 

2、开启keepalived服务

#查看状态

[root@test1 ~]# systemctl status keepalived.service
● keepalived.service - LVS and VRRP High Availability Monitor
   Loaded: loaded (/usr/lib/systemd/system/keepalived.service; disabled; vendor preset: disabled)
   Active: active (running) since Mon 2021-09-06 23:24:55 CST; 1h 55min ago
  Process: 25539 ExecStart=/usr/sbin/keepalived $KEEPALIVED_OPTIONS (code=exited, status=0/SUCCESS)
 Main PID: 25540 (keepalived)