Rabbitmq+Nginx+keepalived高可用热备

Posted 2020-10-12 jackchen007

摘自：

http://www.cnblogs.com/wangyichen/p/4917241.html

公司两台文件服务器要做高可用，避免单点故障，故采用keepalived实现，其中一台宕机，依靠另外一台继续提供服务，并且邮件通知服务状态。

1.keepalived介绍

　　Keepalived是一个基于VRRP协议来实现的服务高可用方案，可以利用其来避免IP单点故障，类似的工具还有heartbeat、corosync、pacemaker。但是它一般不会单独出现，而是与其它负载均衡技术（如lvs、haproxy、nginx）一起工作来达到集群的高可用。

keepalived实现原理是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗协议。 虚拟路由冗余协议，可以认为是实现路由器高可用的协议，即将N台提供相同功能的路由器组成一个虚拟路由器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的vip（该路由器所在局域网内其他机器的默认路由为该vip），master会发组播，组播地址：224.0.0.18,当backup收不到vrrp包时就认为master出问题了，这时就需要根据VRRP的优先级(0-255)从backup中选举出一个master。这样的话就可以保证路由器的高可用了。

       keepalived主要有三个模块，分别是core、checkers和vrrp。core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。checkers负责健康检查，包括常见的各种检查方式(tcp、http、ssl)。vrrp模块是来实现VRRP协议实现的。

2.vrrp的优势

　　冗余：可以使用多个路由器设备作为LAN客户端的默认网关，大大降低了默认网关成为单点故障的可能性；
　　负载共享：允许来自LAN客户端的流量由多个路由器设备所共享；
　　多VRRP组：在一个路由器物理接口上可配置多达255个VRRP组；
　　多IP地址：基于接口别名在同一个物理接口上配置多个IP地址，从而支持在同一个物理接口上接入多个子网；
　　抢占：在master故障时允许优先级更高的backup成为master；
　　通告协议：使用IANA所指定的组播地址224.0.0.18进行VRRP通告；
　　VRRP追踪：基于接口状态来改变其VRRP优先级来确定最佳的VRRP路由器成为master；

3.Keepalived+Nginx 

　　环境：Openstack 虚拟机，这里使用unicast单播实现master/slave之间的心跳信号通讯。

　　node1:192.168.242.133

　　node2:192.168.242.130

　　VIP:192.168.242.50

3.1安装keepalived:

vim /etc/ansible/hosts
[nginx]
　　　　192.168.242.133
　　　　192.168.242.130

#ansible all -m yun -a "name=keepalived state=present"

3.2配置文件和服务启动脚本

配置文件：
        /etc/keepalive/keepalive.conf
服务脚本：
        /etc/rc.d/init.d/keepalive

3.2 Nginx和RabbitMQ检测脚本

　　　该脚本会检测ngnix的运行状态，根据其脚本返回状态码，判断服务在线状态，如果检测服务失败则降低其优先级，准备让其它机器接管VIP。

#!/bin/bash
count=`netstat -ntlp | grep "\\<5672\\>" | wc -l`
killall -0 nginx &> /dev/null
[ $? -eq 0 ] && [ $count -gt 0 ] && exit 0 || exit 1

3.2 keepalived notify脚本

　　

#!/bin/bash
# Author: DevOps

vip=172.50.0.50
contact=\'[e-mail]\'

notify() {
    mailsubject="`hostname` to be $1: $vip floating"
    mailbody="`date \'+%F %H:%M:%S\'`: vrrp transition, `hostname` changed to be $1"
    echo $mailbody | mail -s "$mailsubject" $contact
}

case "$1" in
    master)
        notify master
        exit 0
    ;;
    backup)
        notify backup
        exit 0
    ;;
    fault)
        notify fault
        exit 0
    ;;
    *)
        echo \'Usage: `basename $0` {master|backup|fault}\'
        exit 1
    ;;
esac

 

3.3 keepalived配置文件

　　

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42

! Configuration File for keepalived   global_defs {                         ##全局定义段    notification_email {               ##通知机制，收件人      [e-mail]    }    notification_email_from [e-mail]     ####发件人    smtp_server 192.168.x.x                       ##发件服务器    smtp_connect_timeout 30                       ##服务器连接超时时间    router_id LVS_DEVEL                           ##路由器标志 }   vrrp_script chk_nginx {                          ##定义检测脚本名     script "/etc/keepalived/check_nginx_rabbitmq.sh"         ##检测脚本执行状态     interval 1                                   ##检测脚本状态间隔时间     weight -2                                     ##权重值，脚本检测失败，优先级会减去2。 } vrrp_instance VI_1 {                             ##VRRP实例，定义一个虚拟路由器  VI_1虚拟路由器名     state MASTER                                 ##设置改节点为MASTER节点     interface eth0                               ##通告，选举网络接口     virtual_router_id 51                         ##虚拟路由器ID，双方必须一致     priority 100                                 ##优先级  0-255     #nopreempt                                   ##非抢占模式     unicast_src_ip 192.168.64.133                ##使用单播发送心跳信号，本地作为单播源IP     unicast_peer {                               ##单播目的IP，另外一台节点                   192.168.64.130                 }     advert_int 1                            ##通告时间间隔     authentication {                        ##心跳认证方式，明文，SHA，不认证三种         auth_type PASS         auth_pass 1111     }     virtual_ipaddress {                       ##VRRP VIP地址         192.168.64.50     }     track_script {                            ##探测脚本执行         chk_nginx     }     notify_master "/etc/keepalived/notify.sh master"    ##定义在状态进行转换时的通知脚本。     notify_backup "/etc/keepalived/notify.sh backup"     notify_fault "/etc/keepalived/notify.sh fault" }

　　在其BACKUP上，只需要改变 ：

　　　　state MASTER ：state BACKUP

　　　　priority 100 ： priority 99

　　　　unicast_src_ip 192.168.64.130 　　

　　　　unicast_peer { 192.168.64.133 } 即可。

 

重启keepalived服务：

　　

1	ansible nginx -m shell -a "service keepalived restart"