LVS+keepalived 实现高可用群集

Posted 2023-01-01 2567xl

高可用群集（High Availability Cluster）

  以提高应用系统的可靠性、尽可能地减少中断时间为目标，确保服务的连续性，达到高可用（HA）的容错效果。列如，“故障切换”，“双机热备”，“多机热备”等都属于高可用集群技术。

  HA 的工作方式包括双工和主从两种，双工即所有节点同时在线；主从则只有主节点在线，但当出现故障时从节点能自动切换为主节点。

LVS+Keepalived 实现高可用负载均衡集群

随着网站业务量的增长，网站的服务器压力越来越大？需要负载均衡方案！商业的硬件如 F5 ，Array又太贵，你们又是创业型互联公司如何有效节约成本，节省不必要的浪费？同时还需要实现商业硬件一样的高性能高可用的功能？有什么好的负载均衡可伸张可扩展的方案吗？有！我们利用LVS+Keepalivd基于完整开源软件的架构可以为你提供一个负载均衡及高可用的服务器。

 keepalived 工具介绍

专为 LVS 和 HA 设计的一款健康检查工具

●支持故障自动切换（Failover）

●支持节点健康状态检查（Health Checking）

官方网站：http://www.keepalived.org/

keepalived 实现原理剖析

  keepalived 采用 VRRP 热备份协议实现 Linux 服务器的多机热备功能。

  VRRP，虚拟路由冗余协议，是针对路由器的一种备份解决方案。由多台路由器组成一个热备组，通过共用的虚拟IP地址对外提供服务。每个热备组内同一时刻只有一台主路由器提供服务，其他路由器处于冗余状态。若当前在线的路由器失败，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务。

  Keepalived 采用VRRP（Virtual Router Redundancy Protocal，虚拟路由冗余协议）热备份协议，以软件的形式实现Linux服务器的多机热备功能 主要用来
提供failover（故障转移），和健康状态检查（Health Checking）功能，判断调度器（LoadBalance）主机、Backup主机、RealServer主机的可用性，及时
隔离并替换为新的服务器，当故障主机恢复后将其重新加入集群。

  热备组:通过共用的虚拟ip地址向外提供服务，同时只能有一个主机向外提供服务，其他处于冗余状态，当主出现故障时，根据优先级决定替换顺序，VIP漂移

  keepalived 即可以用做HA集群功能，同时又有负载均衡的功能。比如我们使用的后端的真实服务器（real server,以下简称rs）宕机后，如果没有 keepalived 支持，那么dir服务器仍然会根据算法将客户的请求发送到这台宕机的rs上，那么返回给客户端的就是不能访问资源。当使用keepalived支持的时候，它不但可以监测rs的状态（即监测rs不正常工作后，会将客户请求不在发往这个rs），还可以监测dir的状态（监测分发服务器状态，可以将dir服务器分成主从高可用，监测到主挂后可以有从dir分发），保证dir服务器不间断向后端rs服务器发送请求，rs服务器也会不间断向用户响应，持续高效的工作。

     常用的HA集群的软件还有heartbeat等。keepalived配置文件简单，只有一个配置文件，不像heartbeat有三个配置文件需要配置三个地方。

     这里我们说的是lvs和keepalived的结合使用。

 LVS和keepalived安装配置

1)准备四台虚拟机

server1                             LVS负载调度器(ens32:192.168.200.111)    （主）

server2                             WEB主机服务器(ens32:192.168.200.112)

server3                             WEB主机服务器(ens32:192.168.200.113)

server4                             LVS负载调度器(ens32:192.168.200.114）   （从，备份）

 LVS-DR-Master/LVS-DR-BACKUP 安装 LVS和 Keepalvied软件包

yum -y install ipvsadm kernel-devel openssl-devel

注：一定要与当前的运行的内核一致，因为 /usr/src/kernels目录下可有多个内核。否则在编译 keepalived 时会出错，从而不能继续进行安装外，还会使keepalived 启动后功能失效

tar xf keepalived-1.2.2.tar.gz 
cd keepalived-1.2.2
./configure --prefix=/ --with-kernel-dir=/usr/src/kernels/2.6.18-194.el5-i686
make
make install

chkconfig --add keepalived
chkconfig keepalived on
chkconfig --list keepalived
service keepalived start|stop #做成系统启动服务方便管理.

 配置 keepalived 实现高可用

配置Keepalived
cd /etc/keepalived
cp keepalived.conf keepalived.conf.bak
vim keepalived.conf
----------------------------------------------------------------------------------------------
! Configuration File for keepalived

global_defs
notification_email
[e-mail]                                      #设置报警邮件地址，可以设置多个，每行一个。注意，如果要开启邮件报警,需要开启本机的sendmail服务

notification_email_from [e-mail]  #设置邮件的发送地址
smtp_server 127.0.0.1                                    #设置smtp服务器地址
smtp_connect_timeout 30                              #设置连接 smtp 服务器超时时间 
router_id LVS_MASTER                                 #运行 Keepalived服务器的一个标识。发邮件时显示在邮件标题中的信息

vrrp_instance VI_1                                       #vrrp实例定义部分，同一个热备组，虚拟实例名相同。
state MASTER                                              #指定 Keepalived 的角色，MASTER表示此主机是主用服务器，BACKUP表示是备用服务器。备份服务器上将 MASTER 改为 BACKUP。 
interface ens32                                             #指定 HA监测网络的接口
virtual_router_id 51                                       #虚拟路由标识，这个标识是一个数字，并且同一个 vrrp 实例使用唯一的标识，即同一个 vrrp_instance下，MASTER 和 BACKUP必须是一致的。（0-255）
priority 100                                                    #定义优先级，数字越大，优先级越高，在一个 vrrp_instance下，MASTER的优先级必须大于 BACKUP 的优先级。备份服务上将 100 改为 50
advert_int 1                                                  #设定MASTER 与 BACKUP负载均衡器之间同步检查的时间间隔，单位是秒
authentication                                             #设定验证类型和密码 
auth_type PASS                                          #设置验证类型，主要有 PASS和 AH 两种 
auth_pass 1111                                           #设置验证密码，在一个 vrrp_instance下，MASTER 与 BACKUP必须使用相同的密码才能正常通信。

virtual_ipaddress                                       #设置虚拟 IP地址，可以设置多个虚拟IP地址，每行一个 
192.168.200.254

#虚拟服务器定义部分 
virtual_server 192.168.200.254 80                   #设置虚拟服务器，需要指定虚拟 ip 地址和服务端口，ip 与
端口之间用空格隔开。 
    delay_loop 6                                                      #设置健康检查时间，单位是秒
    lb_algo rr                                                           #设置负载调度算法，这里设置为 rr，即轮询算法， rr|wrr|lc|wlc|lblc|sh|dh
    lb_kind DR                                                        #设置 LVS实现负载均衡的机制，可以有 NAT、TUN 和 DR三个模式可选。
    protocol TCP                                                    #指定转发协议类型，有 tcp和 udp 两种

    real_server 192.168.200.112 80                     #配置服务节点 1，需要指定 real server 的真实IP地址和端口，ip 与端口之间用空格隔开。
        weight 1                                                           #配置服务节点的权值，权值大小用数字表示，数字越大，权值越高，设置权值的大小可以为不同性能的服务器分配不同的负载，可以对性能高的服务器设置较高的
权值，而对性能较低的服务器设置相对较低的权值，这样就合理的利用和分配了系统资源 
        TCP_CHECK                                                 #real serve 的状态检测设置部分，单位是秒
            connect_timeout 10                                        #10秒无响应超时
            nb_get_retry 3                                                #重试次数
            delay_before_retry 3                                      #重试间隔 
            connect_port 80                                             #测试连接的端口 
       
   
    real_server 192.168.200.113 80
        weight 1
        TCP_CHECK
            connect_timeout 10
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
       
   

---------------------------------------------------------------------------------------------

2)配置 keepalived 

在两台 LVS 负载调度器上都安装 ipvsadm keepalived

         yum -y install ipvsadm keepalived   

配置

        vim /etc/keepalived/keepalived.conf

LVS负载调度器（主）      

vrrp_instance VI_1
    state MASTER                                                      #配置主，若是从改成BACKUP
    interface ens32                                                      #注意网卡，须是本机的网卡
    virtual_router_id 51                                               #id号
    priority 100                                                            #优先级，100最高，若是从改成100以下
    advert_int 1
    authentication
        auth_type PASS
        auth_pass 1111

    virtual_ipaddress
       192.168.200.254                                                     #VIP，即对外的IP，用户访问的IP。可以添加多个VIP

   

#下面是配置VIP对应的真实服务器，也可以添加多个VIP配置
virtual_server 192.168.200.254 80
    delay_loop 6                                 #每隔多少秒keepalived监测rs的状态
    lb_algo rr                                       #设置分发的算法
    lb_kind DR                                    #设置分发的模式，这里使用DR模式演示
    persistence_timeout 0                  #同一个IP连接访问在多少秒内被分发到同一个rs上，这里改成0，如果是60，那么会在60秒内一直被连接到同一个rs上。
    protocol TCP
#真实服务器的配置，注意IP和端口
    real_server 192.168.200.112 80
        weight 1                                           #权重
        TCP_CHECK
             connect_timeout 10       #10秒无响应超时
             nb_get_retry 3
             delay_before_retry 3
             connect_port 80
       
   

    real_server 192.168.200.113 80
        weight 1                                           #权重
        TCP_CHECK
             connect_timeout 10       #10秒无响应超时
             nb_get_retry 3
             delay_before_retry 3
             connect_port 80
       
   

systemctl restart keepalived
LVS负载调度器（从，备份）

vrrp_instance VI_1                                                  #同一热备组，虚拟实例名相同
    state BACKUP                                                      
    interface ens32                                                      #注意网卡，须是本机的网卡
    virtual_router_id 51                                               #同一热备组，ID号相同
    priority 90                                                            #优先级，100最高，若是从改成100以下
    advert_int 1
    authentication
        auth_type PASS
        auth_pass 1111

    virtual_ipaddress
       192.168.200.254                                                     #VIP，即对外的IP，用户访问的IP。可以添加多个VIP

   

#下面是配置VIP对应的真实服务器，也可以添加多个VIP配置
virtual_server 192.168.200.254 80
    delay_loop 6                                 #每隔多少秒keepalived监测rs的状态
    lb_algo rr                                       #设置分发的算法
    lb_kind DR                                    #设置分发的模式，这里使用DR模式演示
    persistence_timeout 0                  #同一个IP连接访问在多少秒内被分发到同一个rs上，这里改成0，如果是60，那么会在60秒内一直被连接到同一个rs上。
    protocol TCP
#真实服务器的配置，注意IP和端口
    real_server 192.168.200.112 80
        weight 1                                           #权重
        TCP_CHECK
             connect_timeout 10                    #10秒无响应超时
             nb_get_retry 3
             delay_before_retry 3
             connect_port 80
       
   

    real_server 192.168.200.113 80
        weight 1                                           #权重
        TCP_CHECK
             connect_timeout 10                    #10秒无响应超时
             nb_get_retry 3
             delay_before_retry 3
             connect_port 80
       
   

systemctl restart keepalived 
两台WEB主机服务器同 LVS负载均衡 时一样 

五. 测试
启动 keepalived 服务 
分别在主、备均衡服务器上启动 keepalived 服务，启动命令为： 
service restart keepalived

tail -f  /var/log/messages

确定 realserver1 和 realserver2 服务器的 httpd服务启动，页面能正常访问

打开浏览器，输入http://192.168.200.254将分别看到不同的页面。

查看测试 
ipvsadm -Lnc

测试 HA功能 
断掉 LVS-Master 的 ens32 的网络连接或者关闭系统模拟故障发生。 
在 LVS-Slave 中观察日志，大约应在 30 秒内 LVS-Slave 接管 LVS-Master 的资源启动 LVS
服务。主均衡服务器恢复正常后，必须能够从备份均衡服务器接管资源。

tail -f /var/log/messages //当 LVS-Master 发生故障后
Nov 7 06:05:27 www Keepalived_vrrp: VRRP_Instance(VI_1) Entering MASTER STATE
Nov 7 06:05:27 www Keepalived_vrrp: VRRP_Instance(VI_1) setting protocol VIPs.
Nov 7 06:05:27 www Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.200.254
Nov 7 06:05:32 www Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.200.254
Nov 7 06:06:59 www avahi-daemon[3296]: Invalid legacy unicast query packet.
Nov 7 06:06:59 www last message repeated 2 times
Nov 7 06:07:00 www avahi-daemon[3296]: Received response from host 192.168.200.1 with invalid source port 59083 on interface ‘eth0.0‘
Nov 7 06:07:01 www Keepalived_vrrp: VRRP_Instance(VI_1) Received higher prio advert
Nov 7 06:07:01 www Keepalived_vrrp: VRRP_Instance(VI_1) Entering BACKUP STATE

 

1、 vip(virtual ip)。直接路由模式的vip必须跟服务器对外提供服务的ip地址在同一个网段，并且lvs 负载均衡器和其他所有提供相同功能的服务器都使用这个vip.
2、 vip被绑定在环回接口lo0:0上，其广播地址是其本身，子网掩码是255.255.255.255。这与标准的网络地址设置有很大的不同。采用这种可变长掩码方式把网段划分成只含一个主机地址的目的是避免ip地址冲突。
3、 arp_ignore = 1, arp_announce = 2 的作用是抑制arp广播。如果不做arp抑制，将会有众多的机器向其他宣称："嗨!我在这里呢!"，这样就乱套了。

主从LVS负载调度器 负载均衡

LVS负载调度器 1      

vrrp_instance VI_1
    state MASTER                                                      
    interface ens32                                                    
    virtual_router_id 51                                               
    priority 100                                                            
    advert_int 1
    authentication
        auth_type PASS
        auth_pass 1111
   
    virtual_ipaddress
       192.168.200.254                                                     

   

#########################################

vrrp_instance VI_2
    state BACKUP                                                     
    interface ens32                                                    
    virtual_router_id 52                                              
    priority 90                                                           
    advert_int 1
    authentication
        auth_type PASS
        auth_pass 1111
   
    virtual_ipaddress
       192.168.200.253                                                  

     

 

virtual_server 192.168.200.254 80
    delay_loop 6                                 
    lb_algo rr                                       
    lb_kind DR                                    
                    
    protocol TCP

    real_server 192.168.200.112 80
        weight 1                                           
        TCP_CHECK
             connect_timeout 10       
             nb_get_retry 3
             delay_before_retry 3
             connect_port 80
       
   

    real_server 192.168.200.113 80
        weight 1                                           
        TCP_CHECK
             connect_timeout 10       
             nb_get_retry 3
             delay_before_retry 3
             connect_port 80
       
   

##########################################

virtual_server 192.168.200.253 80
    delay_loop 6                                 
    lb_algo rr                                       
    lb_kind DR                                    
                    
    protocol TCP

    real_server 192.168.200.112 80
        weight 1                                           
        TCP_CHECK
             connect_timeout 10       
             nb_get_retry 3
             delay_before_retry 3
             connect_port 80
       
   

    real_server 192.168.200.113 80
        weight 1                                           
        TCP_CHECK
             connect_timeout 10       
             nb_get_retry 3
             delay_before_retry 3
             connect_port 80
       
   

systemctl restart keepalived
LVS负载调度器  2

vrrp_instance VI_1                                                  
    state BACKUP                                                      
    interface ens32                                                      
    virtual_router_id 51                                              
    priority 90                                                          
    advert_int 1
    authentication
        auth_type PASS
        auth_pass 1111
   
    virtual_ipaddress
       192.168.200.254                                                     

   

#################################

vrrp_instance VI_2                                                  
    state MASTER                                                      
    interface ens32                                                      
    virtual_router_id 52                                              
    priority 100                                                          
    advert_int 1
    authentication
        auth_type PASS
        auth_pass 1111
   
    virtual_ipaddress
       192.168.200.253                                                     

   

virtual_server 192.168.200.254 80
    delay_loop 6                                 
    lb_algo rr                                       
    lb_kind DR                                    
                     
    protocol TCP

    real_server 192.168.200.112 80
        weight 1                                           
        TCP_CHECK
             connect_timeout 10                    
             nb_get_retry 3
             delay_before_retry 3
             connect_port 80
       
   

    real_server 192.168.200.113 80
        weight 1                                           
        TCP_CHECK
             connect_timeout 10                    
             nb_get_retry 3
             delay_before_retry 3
             connect_port 80
       
   

#####################################

virtual_server 192.168.200.253 80
    delay_loop 6                                 
    lb_algo rr                                       
    lb_kind DR                                    
                     
    protocol TCP

    real_server 192.168.200.112 80
        weight 1                                           
        TCP_CHECK
             connect_timeout 10                    
             nb_get_retry 3
             delay_before_retry 3
             connect_port 80
       
   

    real_server 192.168.200.113 80
        weight 1                                           
        TCP_CHECK
             connect_timeout 10                    
             nb_get_retry 3
             delay_before_retry 3
             connect_port 80
       
   

systemctl restart keepalived