LVS-DR+keepalived 搭建web高可用负载均衡

Posted 2020-09-18

实验环境 redhat6.5 2.6.32-431.el6.x86_64  

keepalived-1.2.16版本

ipvsadm-1.26-2.el6.x86_64

所有的虚拟机  都  关闭防火墙和selinux  配置好了本地yum源

搭建要求是对LVS-DR模式的原理熟悉，先配置好LVS-DR所需的环境。这里的环境是配置VIP DIP DIP 在同一个网段，并在realserver的lo接口上做好了arp抑制。具体见后面的脚本

当keepalived和LVS结合时，注意不需要在director上对ipvsadm手工的做配置，切记。在keepalived的配置文件里会配置lvs的VIP，RIP。  所有的配置只在keepalived的配置文件中就可以了。之前是先做的LVS-DR模式 所以先配置了ipvsadm后修改keepalived.conf结果画蛇贴足，导致无法搭建成功。

本次实验中  是搭建web的高可用负载均衡

DR1                            VIP：192.168.168.12                            DIP：192.168.168.100

DR2                            VIP:   192.168.168.12                           DIP:192.168.168.107 

realserver1                 VIP : 192.168.168.12                            RIP1: 192.168.168.102 

realserver2                  VIP: 192.168.168.12                             RIP2：192.168.168.103

前提 ：realserver1和realserver2已经安装了 httpd 

********************首先搭建DR1 *********

1，软件的安装 DR1和DR2上安装 ipvsadm 和 keepalived

####################安装ipvsadm管理lvs#######################

首先lsmod查看是否支持lvs模块

[email protected] ~ # lsmod | grep -i ip

ip_vs_rr                1420  1 

ip_vs                 125220  3 ip_vs_rr

可以看出支持 然后进入本地的yum源挂载目录安装ipvsadm （LVS已经编译到内核）

[email protected] ~ # cd /mnt/Packages/

[email protected] Packages # rpm -ivh ipvsadm-1.26-2.el6.x86_64.rpm

2.#######################然后安装keepalived####################

[email protected] src # tar -zxvf keepalived-1.2.16.tar.gz

[email protected] src # cd keepalived-1.2.16

[email protected] keepalived-1.2.16 # ./configure --with-kernel-dir=/usr/src/kernels/2.6.32-431.el6.x86_64/

可能会有依赖性

[email protected] keepalived-1.2.16 # yum install -y openssl-devel

[email protected] keepalived-1.2.16 # ./configure --with-kernel-dir=/usr/src/kernels/2.6.32-431.el6.x86_64/   将keepalived整合到内核当中

[email protected] keepalived-1.2.16 # make && make install

[email protected] keepalived-1.2.16 # echo $?

0

下来将keepalived的配置文件复制到对应的配置文件，方便配置。

[email protected] keepalived-1.2.16 # cp /usr/local/etc/rc.d/init.d/keepalived      /etc/init.d/  

[email protected] keepalived-1.2.16 # cp /usr/local/etc/sysconfig/keepalived        /etc/sysconfig/

[email protected] keepalived-1.2.16 # mkdir /etc/keepalived

[email protected] keepalived-1.2.16 # cp /usr/local/etc/keepalived/keepalived.conf   /etc/keepalived/

[email protected] keepalived-1.2.16 # cp /usr/local/sbin/keepalived                 /usr/sbin/

[email protected] keepalived-1.2.16 # cd ~

#######################安装完毕进行配置#####################

[email protected] keepalived-1.2.16 # cd ~

[email protected] ~ # vim /etc/keepalived/keepalived.conf   主配置文件

[email protected] ~ # 

[email protected] ~ # cat !$

cat /etc/keepalived/keepalived.conf

! Configuration File for keepalived  

global_defs {  

   notification_email {  

     [email protected]   #设置报警邮件地址,可以设置多个,每行1个，  

     [email protected]  #需开启邮件报警及本机的Sendmail服务。  

     [email protected]  

   }  

   notification_email_from [email protected]  

   smtp_server 192.168.168.12  #设置SMTP Server地址；  

   smtp_connect_timeout 30  

   router_id LVS_DEVEL  

}  

           ########VRRP Instance########  

vrrp_instance VI_1 {  

    state MASTER    #指定Keepalived的角色，MASTER为主机服务器，BACKUP为备用服务器  

    interface eth0  #BACKUP为备用服务器  

    virtual_router_id 51  

    priority 100    #定义优先级，数字越大，优先级越高，主DR必须大于备用DR。  

    advert_int 1  

    authentication {  

        auth_type PASS  #设置验证类型，主要有PASS和AH两种  

        auth_pass 1111  #设置验证密码  

    }  

    virtual_ipaddress {  

        192.168.168.12  #设置主DR的虚拟IP地址(virtual IP),可多设，但必须每行1个  

    }  

}  

           ########Virtual Server########  

virtual_server 192.168.168.12 80 {  #注意IP地址与端口号之间用空格隔开  

    delay_loop 6        #设置健康检查时间，单位是秒  

    lb_algo rr          #设置负载调度算法，默认为rr,即轮询算法,最优秀是wlc算法  

    lb_kind DR          #设置LVS实现LB机制，有NAT、TUNN和DR三个模式可选  

    nat_mask 255.255.255.0  

#    persistence_timeout 1  #会话保持时间，单位为秒  实验要注释掉方便看出轮询

    protocol TCP        #指定转发协议类型，有TCP和UDP两种  

    real_server 192.168.168.102 80 {  #定义realserver 的ip 地址和 端口

        weight 1          #配置节点权值，数字越大权值越高  

        TCP_CHECK {  

            connect_timeout 3     #表示3秒无响应，则超时  

            nb_get_retry 3        #表示重试次数  

            delay_before_retry 3  #表示重试间隔  

        }  

    }  

    real_server 192.168.168.103 80 {  #配置服务器节点，即Real Server2的public IP  

        weight 1            #配置节点权值，数字越大权值越高  

        TCP_CHECK {  

            connect_timeout 3       #表示3秒无响应，则超时  

            nb_get_retry 3          #表示重试次数  

            delay_before_retry 3    #表示重试间隔  

        }  

    }  

} 

配置完成

[email protected] ~ # /etc/init.d/keepalived start

3.  ##############DR1配置完成开始配置realserver1和realserver2################

realserver1 配置   使用脚本配置

[email protected] ~ # cat lvs.dr.sh 

#!/bin/bash

vip=192.168.168.12

/etc/init.d/httpd start   #启动apache  没有安装的请自己先安装

case $1 in 

start)

echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore    #这四行是做arp抑制

echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

ip addr add dev lo $vip

ip a | grep -w inet

echo "this is for start"

;;

stop)

echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore  #恢复arp

echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce

echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore

echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce

ip addr del dev lo $vip

ip a | grep -w inet

echo "this is for stop"

;;

*)

echo "plesase start or stop"

;;

esac

exit 0

[email protected] ~ # sh lvs.dr.sh start

[email protected] ~ # ip a

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN 

    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

    inet 127.0.0.1/8 scope host lo

    inet 192.168.168.12/32 scope global lo

    inet6 ::1/128 scope host 

       valid_lft forever preferred_lft forever

2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

    link/ether 00:0c:29:0b:b0:4e brd ff:ff:ff:ff:ff:ff

    inet 192.168.168.102/24 brd 192.168.168.255 scope global eth0

    inet6 fe80::20c:29ff:fe0b:b04e/64 scope link 

       valid_lft forever preferred_lft forever

[email protected] ~ # echo "real server 192.168.168.102" >/var/www/index.html

realserver2 同理

[email protected] ~ # cat lvs.dr.sh 

#!/bin/bash

vip=192.168.168.12

/etc/init.d/httpd start

case $1 in 

start)

echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

ip addr add dev lo $vip

ip a | grep -w inet

echo "this is for start"

;;

stop)

echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore

echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce

echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore

echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce

ip addr del dev lo $vip

ip a | grep -w inet

echo "this is for stop"

;;

*)

echo "plesase start or stop"

;;

esac

exit 0

[email protected] ~ # sh lvs.dr.sh start

[email protected] ~ # ip a

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN 

    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

    inet 127.0.0.1/8 scope host lo

    inet 192.168.168.12/32 scope global lo

    inet6 ::1/128 scope host 

       valid_lft forever preferred_lft forever

2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

    link/ether 00:0c:29:2a:85:bb brd ff:ff:ff:ff:ff:ff

    inet 192.168.168.103/24 brd 192.168.168.255 scope global eth0

    inet6 fe80::20c:29ff:fe2a:85bb/64 scope link 

       valid_lft forever preferred_lft forever

[email protected] ~ # echo "real server 192.168.168.103" >/var/www/index.html

4.    #############realserver配置完成后 在DR1查看################

[email protected] ~ # ipvsadm -Ln

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  192.168.168.12:80 rr

  -> 192.168.168.102:80           Route   1      0          0         

  -> 192.168.168.103:80           Route   1      0          0 

出现这个表明配置成功  可以将ipvsadm配置保存在文件中

[email protected] ~ # ipvsadm-save > ipvsadm.txt  保存到文件ipvsadm.txt中

[email protected] ~ # cat ipvsadm.txt 

-A -t bogon:http -s rr

-a -t bogon:http -r bogon:http -g -w 1

-a -t bogon:http -r bogon:http -g -w 1

[email protected] ~ # ipvsadm-restore < ipvsadm.txt  将文件导入到ipvsadm的设置中

5.  ###################打开浏览器验证#################

打开浏览器访问VIP 192.168.168.12

F5 刷新

说明DR1已搭建成功 下面搭建DR2

**********************DR2的配置***************************

重复DR1中的ipvsadm和keepalived的安装,这里就不多说了

DR1和DR2的区别是 keepalived..conf 的配置 中的master改为backup 然后更改优先级就可以了。

[email protected] ~ # 

[email protected] ~ # cat !$

cat /etc/keepalived/keepalived.conf

! Configuration File for keepalived  

global_defs {  

   notification_email {  

     [email protected]   #设置报警邮件地址,可以设置多个,每行1个，  

     [email protected]  #需开启邮件报警及本机的Sendmail服务。  

     [email protected]  

   }  

   notification_email_from [email protected]  

   smtp_server 192.168.168.12  #设置SMTP Server地址；  

   smtp_connect_timeout 30  

   router_id LVS_DEVEL  

}  

           ########VRRP Instance########  

vrrp_instance VI_1 {  

    state BACKUP    #指定Keepalived的角色，MASTER为主机服务器，BACKUP为备用服务器  

    interface eth0  #BACKUP为备用服务器  

    virtual_router_id 51  

    priority 50    #定义优先级，数字越大，优先级越高，主DR必须大于备用DR。  

    advert_int 1  

    authentication {  

        auth_type PASS  #设置验证类型，主要有PASS和AH两种  

        auth_pass 1111  #设置验证密码  主从要一致

    }  

    virtual_ipaddress {  

        192.168.168.12  #设置主DR的虚拟IP地址(virtual IP),可多设，但必须每行1个  

    }  

}  

           ########Virtual Server########  

virtual_server 192.168.168.12 80 {  #注意IP地址与端口号之间用空格隔开  

    delay_loop 6        #设置健康检查时间，单位是秒  

    lb_algo rr          #设置负载调度算法，默认为rr,即轮询算法,最优秀是wlc算法  

    lb_kind DR          #设置LVS实现LB机制，有NAT、TUNN和DR三个模式可选  

    nat_mask 255.255.255.0  

#    persistence_timeout 1  #会话保持时间，单位为秒  实验要注释掉方便看出轮询

    protocol TCP        #指定转发协议类型，有TCP和UDP两种  

    real_server 192.168.168.102 80 {  

        weight 1          #配置节点权值，数字越大权值越高  

        TCP_CHECK {  

            connect_timeout 3     #表示3秒无响应，则超时  

            nb_get_retry 3        #表示重试次数  

            delay_before_retry 3  #表示重试间隔  

        }  

    }  

    real_server 192.168.168.103 80 {  #配置服务器节点，即Real Server2的public IP  

        weight 1            #配置节点权值，数字越大权值越高  

        TCP_CHECK {  

            connect_timeout 3       #表示3秒无响应，则超时  

            nb_get_retry 3          #表示重试次数  

            delay_before_retry 3    #表示重试间隔  

        }  

    }  

} 

然后开启keepalived

[email protected] ~ #  /etc/init.d/keepalived   start

[email protected] ~ # ipvsadm -Ln  查看

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  192.168.168.12:80 rr

  -> 192.168.168.102:80           Route   1      0          0         

  -> 192.168.168.103:80           Route   1      0          0 

##################都配置成功了，可以宕机检验了。#######################

****************************以下时网上找到的理论知识  *********************************************                                

1. LVS简介：

LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。章文嵩博士目前工作于阿里集团，主要从事集群技术、操作系统、对象存储与数据库的研究。（摘自《BAIDU百科》）

2. LVS集群的组成：

LVS服务器系统由三部分组成：

1）负载均衡层：

位于整个集群系统的最前端，避免单点故障一般最少由2台或2台以上负载调度器组成。

2）服务器群组层：

是一组真正运行应用服务器的机器组成，Real Server可以是Web、FTP、DNS、Mail 、视频等服务器中的一个或N个，每个Real Server之间通过高速的LAN/WAN相连接。为了节省宝贵的资源，在生产环境中，Director Server同时身兼Real Server的角色！

3）共享存储层：

为Real Server提供共享存储空间和内容一致性的存储区域。可以为磁盘阵列、Red Hat的GFS文件系统、Oracle的OCFS2文件系统等。

Director Server是整个LVS的核心！到目前为止，Director server只能安装在Linux、FreeBSD上，如果Linux内核是2.6及以上时，则已经内置了LVS的各个模块，不用作任何的设置就支持LVS功能。

Real Server服务器几乎为所有有系统平台，如：Windows、Linux、Solaris、AIX、BSD等系统平台。

常见的3中模式 还有第四种

1、NAT模式-网络地址转换

        Virtualserver via Network address translation(VS/NAT)

这个是通过网络地址转换的方法来实现调度的。首先调度器(LB)接收到客户的请求数据包时（请求的目的IP为VIP），根据调度算法决定将请求发送给哪个后端的真实服务器（RS）。然后调度就把客户端发送的请求数据包的目标IP地址及端口改成后端真实服务器的IP地址（RIP）,这样真实服务器（RS）就能够接收到客户的请求数据包了。真实服务器响应完请求后，查看默认路由（NAT模式下我们需要把RS的默认路由设置为LB服务器。）把响应后的数据包发送给LB,LB再接收到响应包后，把包的源地址改成虚拟地址（VIP）然后发送回给客户端。

大致可分为几个步骤

1)客户端请求数据，目标IP为VIP

2)请求数据到达LB服务器，LB根据调度算法将目的地址修改为RIP地址及对应端口（此RIP地址是根据调度算法得出的。）并在连接HASH表中记录下这个连接。

3)数据包从LB服务器到达RS服务器webserver，然后webserver进行响应。Webserver的网关必须是LB，然后将数据返回给LB服务器。

4)收到RS的返回后的数据，根据连接HASH表修改源地址VIP&目标地址CIP，及对应端口80.然后数据就从LB出发到达客户端。

5)客户端收到的就只能看到VIP\DIP信息。

NAT模式优缺点：

1、NAT技术将请求的报文和响应的报文都需要通过LB进行地址改写，因此网站访问量比较大的时候LB负载均衡调度器有比较大的瓶颈，一般要求最多之能10-20台节点

2、只需要在LB上配置一个公网IP地址就可以了。

3、每台内部的节点服务器的网关地址必须是调度器LB的内网地址。

4、NAT模式支持对IP地址和端口进行转换。即用户请求的端口和真实服务器的端口可以不一致。

2、TUN模式

virtual server via ip tunneling模式:采用NAT模式时，由于请求和响应的报文必须通过调度器地址重写，当客户请求越来越多时，调度器处理能力将成为瓶颈。为了解决这个问题，调度器把请求的报文通过IP隧道转发到真实的服务器。真实的服务器将响应处理后的数据直接返回给客户端。这样调度器就只处理请求入站报文，由于一般网络服务应答数据比请求报文大很多，采用VS/TUN模式后，集群系统的最大吞吐量可以提高10倍。

VS/TUN的工作，它和NAT模式不同的是，它在LB和RS之间的传输不用改写IP地址。而是把客户请求包封装在一个IP tunnel里面，然后发送给RS节点服务器，节点服务器接收到之后解开IP tunnel后，进行响应处理。并且直接把包通过自己的外网地址发送给客户不用经过LB服务器。

1）客户请求数据包，目标地址VIP发送到LB上。

2）LB接收到客户请求包，进行IP Tunnel封装。即在原有的包头加上IP Tunnel的包头。然后发送出去。

3）RS节点服务器根据IP Tunnel包头信息（此时就又一种逻辑上的隐形隧道，只有LB和RS之间懂）收到请求包，然后解开IP Tunnel包头信息，得到客户的请求包并进行响应处理。

4）响应处理完毕之后，RS服务器使用自己的出公网的线路，将这个响应数据包发送给客户端。源IP地址还是VIP地址。（RS节点服务器需要在本地回环接口配置VIP，做arp抑制）

3、DR模式（直接路由模式）

Virtual server via direct routing (vs/dr)

DR模式是通过改写请求报文的目标MAC地址，将请求发给真实服务器的，而真实服务器响应后的处理结果直接返回给客户端用户。同TUN模式一样，DR模式可以极大的提高集群系统的伸缩性。而且DR模式没有IP隧道的开销，对集群中的真实服务器也没有必要必须支持IP隧道协议的要求。但是要求调度器LB与真实服务器RS都有一块网卡连接到同一物理网段上，必须在同一个局域网环境。

DR模式是互联网使用比较多的一种模式。DR模式原理过程简述：

VS/DR模式的工作，它的连接调度和管理与NAT和TUN中的一样，它的报文转发方法和前两种不同。DR模式将报文直接路由给目标真实服务器。在DR模式中，调度器根据各个真实服务器的负载情况，连接数多少等，动态地选择一台服务器，不修改目标IP地址和目标端口，也不封装IP报文，而是将请求报文的数据帧的目标MAC地址改为真实服务器的MAC地址。然后再将修改的数据帧在服务器组的局域网上发送。因为数据帧的MAC地址是真实服务器的MAC地址，并且又在同一个局域网。那么根据局域网的通讯原理，真实复位是一定能够收到由LB发出的数据包。真实服务器接收到请求数据包的时候，解开IP包头查看到的目标IP是VIP。（此时只有自己的IP符合目标IP才会接收进来，所以我们需要在本地的回环借口上面配置VIP。另：由于网络接口都会进行ARP广播响应，但集群的其他机器都有这个VIP的lo接口，都响应就会冲突。所以我们需要把真实服务器的lo接口的ARP响应关闭掉。）然后真实服务器做成请求响应，之后根据自己的路由信息将这个响应数据包发送回给客户，并且源IP地址还是VIP。

DR模式小结：

1、通过在调度器LB上修改数据包的目的MAC地址实现转发。注意源地址仍然是CIP，目的地址仍然是VIP地址。

2、请求的报文经过调度器，而RS响应处理后的报文无需经过调度器LB，因此并发访问量大时使用效率很高（和NAT模式比）

3、因为DR模式是通过MAC地址改写机制实现转发，因此所有RS节点和调度器LB只能在一个局域网里面

4、RS主机需要绑定VIP地址在LO接口上，并且需要配置ARP抑制。

5、RS节点的默认网关不需要配置成LB，而是直接配置为上级路由的网关，能让RS直接出网就可以。

6、由于DR模式的调度器仅做MAC地址的改写，所以调度器LB就不能改写目标端口，那么RS服务器就得使用和VIP相同的端口提供服务。