keepalived讲解及搭建高可用Nginx热备集群

Posted 2021-12-31 小毕超

一、keepalived简介

Keepalived是Linux下一个轻量级别的高可用解决方案。高可用(High Avalilability,HA)，其实两种不同的含义：广义来讲，是指整个系统的高可用行，狭义的来讲就是之主机的冗余和接管，它与HeartBeat RoseHA 实现相同类似的功能，都可以实现服务或者网络的高可用，但是又有差别，HeartBeat是一个专业的、功能完善的高可用软件，它提供了HA 软件所需的基本功能，比如：心跳检测、资源接管，检测集群中的服务，在集群节点转移共享IP地址的所有者等等。HeartBeat功能强大，但是部署和使用相对比较麻烦，与HeartBeat相比，Keepalived主要是通过虚拟路由冗余来实现高可用功能，虽然它没有HeartBeat功能强大，但是Keepalived部署和使用非常的简单，所有配置只需要一个配置文件即可以完成。

Keepalived起初是为LVS设计的，专门用来监控集群系统中各个服务节点的状态，它根据TCP/IP参考模型的第三、第四层、第五层交换机制检测每个服务节点的状态，如果某个服务器节点出现异常，或者工作出现故障，Keepalived将检测到，并将出现的故障的服务器节点从集群系统中剔除，这些工作全部是自动完成的，不需要人工干涉，需要人工完成的只是修复出现故障的服务节点。

后来Keepalived又加入了VRRP的功能，VRRP（Vritrual Router Redundancy Protocol,虚拟路由冗余协议)出现的目的是解决静态路由出现的单点故障问题，通过VRRP可以实现网络不间断稳定运行，因此Keepalvied 一方面具有服务器状态检测和故障隔离功能，另外一方面也有HA cluster功能，下面介绍一下VRRP协议实现的过程。

Keepalived目前使用较多的是检测服务的状态做热备的切换，不需要人工干涉，本篇讲解keepalived配制信息，及搭建一个高可用Lvs负载。

二、keepalived配制nginx热备集群

整体架构拓扑：

主机	角色
192.168.40.130	keepalived master ，nginx1
192.168.40.166	keepalived backup，nginx2
192.168.40.123	LVS

在130和166上安装好nginx，安装nginx的教程可以参考下面我的博客：

直接安装： https://blog.csdn.net/qq_43692950/article/details/108126547

直接安装： https://blog.csdn.net/qq_43692950/article/details/108126547

安装完毕后可以修改下 index.html文件，让其可以看出当前访问的是那台主机上的Nginx。如果在生产环境最好搭建个NFS文件挂载，省的去每台机器上修改东西，NFS的相关讲解，可以参考下面我的博客：

https://blog.csdn.net/qq_43692950/article/details/121591360

安装Keepalived

1. 安装所需相关包

yum install -y conntrack-tools libseccomp libtool-ltdl

2. 安装130 的 Keepalived 配制

yum install -y keepalived

3. 修改keepalived配制

cat > /etc/keepalived/keepalived.conf <<EOF 
! Configuration File for keepalived

global_defs 
   router_id nginx1


vrrp_script check_haproxy 
    script "killall -0 nginx"
    interval 3
    weight -2
    fall 10
    rise 2


vrrp_instance VI_1 
    state MASTER 
    interface ens33 
    virtual_router_id 51
    priority 250
    advert_int 1
    authentication 
        auth_type PASS
        auth_pass ceb1b3ec013d66163d6ab
    
    virtual_ipaddress 
        192.168.40.123
    
    track_script 
        check_haproxy
    



virtual_server 192.168.40.123 80   
    delay_loop 6 # 设置健康检查时间，单位是秒                    
    lb_algo rr # lvs调度算法rr|wrr|lc|wlc|lblc|sh|dh                   
    lb_kind DR # 设置LVS实现负载的机制，有NAT、TUN、DR三个模式   
    nat_mask 255.255.255.0                
    persistence_timeout 5  #会话保持时间         
    protocol TCP                  
    real_server 192.168.40.130 80   # 指定real server1的IP地址
        weight 3   # 配置节点权值，数字越大权重越高              
        TCP_CHECK   
        connect_timeout 10         
        nb_get_retry 3  
        delay_before_retry 3  
        connect_port 80  
          
      
    real_server 192.168.40.166 80   # 指定real server2的IP地址
        weight 3  # 配置节点权值，数字越大权重越高  
        TCP_CHECK   
        connect_timeout 10  
        nb_get_retry 3  
        delay_before_retry 3  
        connect_port 80  
          
       
 
EOF

4. 修改 166 的keepalived配制

cat > /etc/keepalived/keepalived.conf <<EOF 
! Configuration File for keepalived

global_defs 
   router_id nginx2


vrrp_script check_haproxy 
    script "killall -0 nginx"
    interval 3
    weight -2
    fall 10
    rise 2


vrrp_instance VI_1 
    state BACKUP 
    interface ens33 
    virtual_router_id 51
    priority 200
    advert_int 1
    authentication 
        auth_type PASS
        auth_pass ceb1b3ec013d66163d6ab
    
    virtual_ipaddress 
        192.168.40.123
    
    track_script 
        check_haproxy
    

virtual_server 192.168.40.123 80   
    delay_loop 6 # 设置健康检查时间，单位是秒                    
    lb_algo rr # lvs调度算法rr|wrr|lc|wlc|lblc|sh|dh                   
    lb_kind DR # 设置LVS实现负载的机制，有NAT、TUN、DR三个模式   
    nat_mask 255.255.255.0                
    persistence_timeout 5  #会话保持时间         
    protocol TCP                  
    real_server 192.168.40.130 80   # 指定real server1的IP地址
        weight 3   # 配置节点权值，数字越大权重越高              
        TCP_CHECK   
        connect_timeout 10         
        nb_get_retry 3  
        delay_before_retry 3  
        connect_port 80  
          
      
    real_server 192.168.40.166 80   # 指定real server2的IP地址
        weight 3  # 配置节点权值，数字越大权重越高  
        TCP_CHECK   
        connect_timeout 10  
        nb_get_retry 3  
        delay_before_retry 3  
        connect_port 80  
          
       
 
EOF

5. 启动keepalived

systemctl start keepalived.service

6. 设置开机启动

systemctl enable keepalived.service

7. 查看启动状态

systemctl status keepalived.service

三、keepalived配制解释

全局配制

global_defs             
   notification_email   #指定keepalived在发生切换时需要发送email到的对象，一行一个
    [e-mail]
   
   notification_email_from [e-mail] #指定发件人
   smtp_server localhost #指定smtp服务器地址
   smtp_connect_timeout 30 #指定smtp连接超时时间
   router_id LVS_DEVEL #运行keepalived机器的一个标识

vrrp_sync_group

vrrp_sync_group VG_1 #监控多个网段的实例
    group 
　　　　VI_1 #实例名
　　　　VI_2
　　　　......
    
    notify_master /path/xx.sh #指定当切换到master时，执行的脚本
    netify_backup /path/xx.sh #指定当切换到backup时，执行的脚本
    notify_fault "path/xx.sh VG_1" #故障时执行的脚本
    notify /path/xx.sh 
    smtp_alert #使用global_defs中提供的邮件地址和smtp服务器发送邮件通知

vrrp_instance

vrrp_instance VI_1 
    state BACKUP #指定那个为master，那个为backup，如果设置了nopreempt这个值不起作用，主备考priority决定
    interface eth0 #设置实例绑定的网卡
    dont_track_primary #忽略vrrp的interface错误（默认不设置）
    track_interface #设置额外的监控，里面那个网卡出现问题都会切换
        eth0
        eth1
    
    mcast_src_ip #发送多播包的地址，如果不设置默认使用绑定网卡的primary ip
    garp_master_delay #在切换到master状态后，延迟进行gratuitous ARP请求
    virtual_router_id 50 #VPID标记
    priority 99 #优先级，高优先级竞选为master
    advert_int 1 #检查间隔，默认1秒
    nopreempt #设置为不抢占 注：这个配置只能设置在backup主机上，而且这个主机优先级要比另外一台高
    preempt_delay #抢占延时，默认5分钟
    debug #debug级别
    authentication  #设置认证
        auth_type PASS #认证方式
        auth_pass 111111 #认证密码
    
    virtual_ipaddress  #设置vip
        192.168.202.200
    

virtual_server

virtual_server 192.168.202.200 23         //VIP地址，要和vrrp_instance模块中的                virtual_ipaddress地址一致
　　　　delay_loop 6 #健康检查时间间隔 
　　　　lb_algo rr #lvs调度算法rr|wrr|lc|wlc|lblc|sh|dh 
　　　　lb_kind DR #负载均衡转发规则NAT|DR|RUN 
　　　　persistence_timeout 5 #会话保持时间 
　　　　protocol TCP #使用的协议 
　　　　persistence_granularity <NETMASK> #lvs会话保持粒度 
　　　　virtualhost <string> #检查的web服务器的虚拟主机（host：头） 
　　　　sorry_server<IPADDR> <port> #备用机，所有realserver失效后启用
 
 
    real_server 192.168.200.5 23              //RS的真实IP地址
            weight 1 #默认为1,0为失效
            inhibit_on_failure #在服务器健康检查失效时，将其设为0，而不是直接从ipvs中删除 
            notify_up <string> | <quoted-string> #在检测到server up后执行脚本
            notify_down <string> | <quoted-string> #在检测到server down后执行脚本
            
        TCP_CHECK                     //常用
            connect_timeout 3 #连接超时时间
            nb_get_retry 3 #重连次数
            delay_before_retry 3 #重连间隔时间
            connect_port 23  健康检查的端口的端口
            bindto <ip>   
          
 
        HTTP_GET | SSL_GET          //不常用
            url #检查url，可以指定多个
                 path /
                 digest <string> #检查后的摘要信息
                 status_code 200 #检查的返回状态码
            
            connect_port <port> 
            bindto <IPADD>
            connect_timeout 5
            nb_get_retry 3
            delay_before_retry 2
        
 
        SMTP_CHECK                 //不常用
            host
                connect_ip <IP ADDRESS>
                connect_port <port> #默认检查25端口
                bindto <IP ADDRESS>
            
            connect_timeout 5
            retry 3
            delay_before_retry 2
            helo_name <string> | <quoted-string> #smtp helo请求命令参数，可选
        
 
        MISC_CHECK                 //不常用
            misc_path <string> | <quoted-string> #外部脚本路径
            misc_timeout #脚本执行超时时间
            misc_dynamic #如设置该项，则退出状态码会用来动态调整服务器的权重，返回0 正常，不修改；返回1，
 
检查失败，权重改为0；返回2-255，正常，权重设置为：返回状态码-2
        
    

vrrp_script

vrrp_script check_haproxy
 
    script "/home/check.sh" #监控脚本
    interval 3              #定时执行脚本间隔
    weight -20              #脚本权重
    #keepalived会定时执行脚本并对脚本执行的结果进行分析，动态调整vrrp_instance的优先级。
    #如果脚本执行结果为0，并且weight配置的值大于0，则优先级相应的增加
    #如果脚本执行结果非0，并且weight配置的值小于0，则优先级相应的减少

喜欢的小伙伴可以关注我的个人微信公众号，获取更多学习资料！