消息队列专题(架构篇)：RabbitMQ 的集群架构模式

Posted 2022-11-27 盛夏温暖流年

RabbitMQ 的集群架构模式主要有四种，分别是主备模式、远程模式、多活模式和镜像模式，本篇博客将依次介绍这四种架构模式，其中的镜像模式使用范围最广，我们将对其进行重点介绍。

---

主备模式

主备模式是指，主节点负责提供读写服务，从节点只负责提供备份服务，当主节点宕机时，备份节点会自动切换为主节点提供读写服务。

如上图所示，在主备架构模式下，我们使用 HaProxy 进行健康检测和负载均衡，也就是说，主备切换由 HaProxy 完成，对于 Consumer 消费端来说是完全透明的。这里需要注意的是，主备模式和我们经常提起的主从模式是不一样的，主从模式中的从节点并不是用来备份的，它会提供只读服务。

一般在并发和数据量不高的情况下多使用这种架构模式，简单好用，易于维护。

Haproxy 配置如下：

需要特别关注的是图中关于 server 的配置：

第一行是配置主节点，第二行的 backup 表明是对备份节点的配置。

而 inter 5000 rise 2 fall 2 则表示：每隔 5 秒对 MQ 集群做一次健康检查， 2 次正确证明服务可用，2 次失败证明服务器不可用；

---

远程模式

远程模式就是一种实现双活的模式，简称 shovel 模式，能够让消息在不同数据中心之间进行复制，可以跨地域的让两个 MQ 集群互联，从而实现远距离通信。

如图所示，有两个异地的 MQ 集群（可以是更多的集群），当用户在地区 1 下单，系统发消息到 1 区的 MQ 服务器，发现 MQ 服务已超过设定的阈值，负载过高，这条消息就会被转到地区 2 的 MQ 服务器上，由 2 区的 MQ 服务器去执行后面的业务逻辑，相当于分摊了 1 区的服务压力。

它是 RabbitMQ 比较早期的架构模型，现在很少使用了，在这里不做过多介绍，了解即可。

---

多活模式

多活模式是实现异地数据复制的主流模式，因为 shovel 模式配置比较复杂，实现异地集群多采用这种模式。

如上图所示，在多活模式的每个数据中心中，都会各部署一套 RabbitMQ 集群，集群中的各个节点数据是一样的，通过镜像队列来保证数据一致性。不同数据中心的数据复制则需要依赖 RabbitMQ 的 Federation 插件来完成，Federation 插件可以实现持续可靠的 AMQP 数据通信。

Federation 插件是一个不需要构建 Cluster ，可以直接在 Brokers 之间传输消息的高性能插件。当它在 Brokers 或者 Cluster 之间传输消息时，连接的双方可以使用不同的 users 和 virtual hosts，甚至可以使用不同版本的 RabbitMQ 和 Erlang。

Federation 插件使用 AMQP 协议进行通信，可以接受不连续的传输。它的通信不建立在集群上的，而是建立在单个节点上的，比如图上黄色的 node 3 就可以利用 Federation 插件与绿色的 node1、node2、node3 中的任意一个节点进行数据的同步操作。

Federation 插件配置过程可以参考如下博客：

https://blog.csdn.net/yisuyanyu/article/details/106055000

---

镜像模式

镜像模式（Mirror）是一个非常经典的集群模式，它能保证 100% 数据不丢失，在实际工作中使用广泛，而且实现简单，互联网大厂一般都会使用这种模式来构建集群，所以本篇博客会以这个模式为重点进行详细介绍。

镜像模式实际上就是在主备模式的基础上进行了扩展，集群中所有的节点设备都是同步的。

消息的发布与消费都是通过 master 节点完成的，master 节点对消息进行处理的同时会将消息的处理动作广播给所有的 slave 节点，slave 节点收到消息后，通过回调交由 mirror_queue_slave进行实际处理。

镜像模式流程：

程序（Springboot Application）通过访问 KeepAlived 提供的 VIP（虚拟 ip）指定到其中一个Haproxy，然后 Haproxy 将访问请求代理到其管理的多个 Rabbitmq Server 中的一个，从而实现了高可用、负载均衡的功能。

镜像集群模式搭建过程

1. 准备 5 台服务器节点用来搭建集群
如图所示，我们选择在 76 - 78 节点上安装部署对应的 RabbitMQ 服务，79 和 80 节点用来部署 Haproxy 和 Keepalived 来对 3 个消息队列节点进行负载均衡和健康检测。

2. 复制 Erlang Cookie

消息队列在启动的时候，Erlang VM 会在/var/lib/rabbitmq/目录下自动创建一个随机的 cookie 文件：.erlang.cookie。.erlang.cookie 是 Erlang 分布式的 token 文件，集群内所有设备要持有相同的.erlang.cookie 文件才允许彼此通信。

在这里，我们选择 76、77、78 任意一个节点为 Master（这里选择 76 为 Master），也就是说我们需要把76的 Cookie 文件同步到 77、78 节点上去。

进入 /var/lib/rabbitmq 目录下，把.erlang.cookie文件 copy 到 77、78 节点下：

scp /var/lib/rabbitmq/.erlang.cookie root@192.168.11.77:/var/lib/rabbitmq/

scp /var/lib/rabbitmq/.erlang.cookie root@192.168.11.78:/var/lib/rabbitmq/

之后分别把 77、78 节点上的 cookie 文件权限改为 400：

chmod 400 /var/lib/rabbitmq/.erlang.cookie

3. 构建集群

启动 3 个节点上的 RabbitMQ 应用：

rabbitmq-server -detached

将 slave 加入集群（注意需要提前配置 /etc/hosts，让节点可以相互寻址到对方）：

# 在 bhz77 和 bhz78 节点分别运行如下命令
rabbitmqctl stop_app
rabbitmqctl join_cluster rabbit@bhz76
rabbitmqctl start_app

修改集群名称（默认为第一个 node 名称）：

rabbitmqctl set_cluster_name rabbitmq_cluster1

查看集群状态：

rabbitmqctl cluster_status

查看管控台界面（访问任意一个管控台节点：http://192.168.11.77:15672 ）：

设置镜像队列策略（在任意一个节点上执行）：

rabbitmqctl set_policy ha-all "^" '"ha-mode":"all"'

安装与配置 Haproxy

1.下载依赖包

yum install gcc

2.下载 Haproxy

yum install haproxy -y

3.编辑 Haproxy 配置文件

vi /etc/haproxy/haproxy.cfg

新增 listen 内容，根据实际情况，修改 default 内容：

#logging options
global
	log 127.0.0.1 local0 info
	maxconn 5120
	chroot /usr/local/haproxy
	uid 99
	gid 99
	daemon
	quiet
	nbproc 20
	pidfile /var/run/haproxy.pid

defaults
	log global
	#使用4层代理模式，”mode http”为7层代理模式
	mode tcp
	option tcplog
	option dontlognull
	retries 3
	option redispatch
	maxconn 2000
	contimeout 5s
    ##客户端空闲超时时间为 60秒 则HA 发起重连机制
    clitimeout 60s
    ##服务器端链接超时时间为 15秒 则HA 发起重连机制
    srvtimeout 15s	
	#front-end IP for consumers and producters

listen rabbitmq_cluster
	bind 0.0.0.0:5672
	#配置TCP模式
	mode tcp
	#balance url_param userid
	#balance url_param session_id check_post 64
	#balance hdr(User-Agent)
	#balance hdr(host)
	#balance hdr(Host) use_domain_only
	#balance rdp-cookie
	#balance leastconn
	#balance source //ip
	#简单的轮询
	balance roundrobin
	#rabbitmq集群节点配置 
	#inter 每隔五秒对 mq 集群做健康检查,2次正确证明服务器可用，2次失败证明服务器不可用,并且配置主备机制
    server bhz76 192.168.11.76:5672 check inter 5000 rise 2 fall 2
    server bhz77 192.168.11.77:5672 check inter 5000 rise 2 fall 2
    server bhz78 192.168.11.78:5672 check inter 5000 rise 2 fall 2

#配置haproxy web监控，查看统计信息
listen stats
	bind *:8100
	mode http
	option httplog
	stats enable
	#设置 haproxy 监控路径
	stats uri /rabbitmq-stats
	stats refresh 5s

4.启动 Haproxy

haproxy -f /etc/haproxy/haproxy.cfg

至此，Haproxy 配置成功，访问：http://192.168.11.79:8100/rabbitmq-stats，就可以看到对应的监控信息了。

以上是 79 机器的安装和配置步骤，80 机器按照此步骤执行即可。

安装与配置 Keepalived

1.安装所需软件包

yum install -y openssl openssl-devel

2.下载 keepalived

wget http://www.keepalived.org/software/keepalived-1.2.18.tar.gz

3.解压、编译、安装

tar -xvf keepalived-1.2.18.tar.gz
cd keepalived-1.2.18
./configure --prefix=/usr/local/keepalived
make && make install

4.创建文件夹，将 keepalived 配置文件进行复制

mkdir /etc/keepalived
cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig

5.创建软连接，如果存在则进行删除

ln -s /usr/local/sbin/keepalived /usr/sbin
ln -s /usr/local/keepalived/sbin/keepalived /sbin

6.设置开机启动

chkconfig keepalived on

7.编辑 keepalived 配置文件

vi /etc/keepalived/keepalived.conf

79 节点配置如下：

! Configuration File for keepalived

global_defs 
   router_id bhz79  ##标识节点的字符串，通常为hostname


vrrp_script chk_haproxy 
    script "/etc/keepalived/haproxy_check.sh"  ##执行脚本位置
    interval 2  ##检测时间间隔
    weight -20  ##如果条件成立则权重减20


vrrp_instance VI_1 
    state MASTER  ## 主节点为MASTER，备份节点为BACKUP
    interface eth0 ## 绑定虚拟IP的网络接口（网卡），与本机IP地址所在的网络接口相同（我这里是eth0）
    virtual_router_id 79  ## 虚拟路由ID号（主备节点一定要相同）
    mcast_src_ip 192.168.11.79 ## 本机ip地址
    priority 100  ##优先级配置（0-254的值）
    nopreempt
    advert_int 1  ## 组播信息发送间隔，俩个节点必须配置一致，默认1s
	authentication   ## 认证匹配
        auth_type PASS
        auth_pass bhz
    

    track_script 
        chk_haproxy
    

    virtual_ipaddress 
        192.168.11.70  ## 虚拟ip，可以指定多个
    

80 节点配置如下：

! Configuration File for keepalived

global_defs 
   router_id bhz80  ##标识节点的字符串，通常为hostname



vrrp_script chk_haproxy 
    script "/etc/keepalived/haproxy_check.sh"  ##执行脚本位置
    interval 2  ##检测时间间隔
    weight -20  ##如果条件成立则权重减20


vrrp_instance VI_1 
    state BACKUP  ## 主节点为MASTER，备份节点为BACKUP
    interface eno16777736 ## 绑定虚拟IP的网络接口（网卡），与本机IP地址所在的网络接口相同（我这里是eno16777736）
    virtual_router_id 79  ## 虚拟路由ID号（主备节点一定要相同）
    mcast_src_ip 192.168.11.80  ## 本机ip地址
    priority 90  ##优先级配置（0-254的值）
    nopreempt
    advert_int 1  ## 组播信息发送间隔，俩个节点必须配置一致，默认1s
	authentication   ## 认证匹配
        auth_type PASS
        auth_pass bhz
    

    track_script 
        chk_haproxy
    

    virtual_ipaddress 
        192.168.1.70  ## 虚拟ip，可以指定多个
    

8.添加执行脚本 haproxy_check.sh

vi /etc/keepalived/haproxy_check.sh

内容如下（79 和 80 一样）：

#!/bin/bash
COUNT=`ps -C haproxy --no-header |wc -l`
if [ $COUNT -eq 0 ];then
    /usr/local/haproxy/sbin/haproxy -f /etc/haproxy/haproxy.cfg
    sleep 2
    if [ `ps -C haproxy --no-header |wc -l` -eq 0 ];then
        killall keepalived
    fi
fi

9.赋予脚本执行权限

chmod +x haproxy_check.sh

10.启动 keepalived

service keepalived start

至此，镜像模式的高可用架构搭建完成。

---

本篇博客参考了以下内容，非常感谢：

https://www.jianshu.com/p/588e1c959f03
https://www.jianshu.com/p/5b2879fba25b