第八章：手把手教老婆实现：RocketMQ集群模式-RocketMQ主从-多Master多Slave模式
Posted 小虚竹
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了第八章：手把手教老婆实现：RocketMQ集群模式-RocketMQ主从-多Master多Slave模式相关的知识，希望对你有一定的参考价值。
技术活，该赏
关注+一键三连（点赞，评论，收藏）再看，养成好习惯目录
第一节：服务器准备
这里搭建的是双主双从集群，采用同步复制，异步刷盘的方式搭建集群。
安装四台虚拟机，如下。
| IP | hostname | mastername |
| 192.168.88.135 | rocketmq-nameserver4 | rocketmq-master2-salave1 |
| 192.168.88.134 | rocketmq-nameserver3 | rocketmq-master2 |
| 192.168.88.133 | rocketmq-nameserver2 | rocketmq-master1-slave1 |
| 192.168.88.131 | rocketmq-nameserver1 | rocketmq-master1 |
第二节：安装RocketMQ
在每台机器上安装RocketMQ,这里就不再重复了
重点的再说明下
创建rocketmq存储目录
现有的目录结构是这样的
创建存储目录
mkdir logs
mkdir store
cd store
mkdir commitlog
mkdir consumequeue
mkdir index
修改日志路径
进入conf 目录，替换所有xml中的${user.home},保证日志路径正确
语法：
sed -i 批量替换作用
sed -i 's#原字符串#新字符串#g' 替换的文件
sed -i 's#${user.home}#/usr/local/server/mq/rocketmq#g' *.xml
说明替换成功了
修改 runbroker.sh
调整内存大小(这里只是演示用途，实际的内存大小要以生产环境为准)
cd ..
cd bin/
vim runbroker.sh
调整为1g
修改 runserver.sh
调整内存大小(这里只是演示用途，实际的内存大小要以生产环境为准)
vim runserver.sh
第三节：配置
配置hosts
在host文件中配置地址与IP的映射关系
修改每台机器的/etc/hosts文件，加入如下映射关系
vim /etc/hosts
192.168.88.131 rocketmq-nameserver1
192.168.88.131 rocketmq-master1
192.168.88.133 rocketmq-nameserver2
192.168.88.133 rocketmq-master1-slave1
192.168.88.134 rocketmq-nameserver3
192.168.88.134 rocketmq-master2
192.168.88.135 rocketmq-nameserver4
192.168.88.135 rocketmq-master2-slave1配置完成后, 重启网卡
systemctl restart networkrocketmq 环境变量配置
vim /etc/profile在profile文件的末尾加入如下命令
#set rocketmq
ROCKETMQ_HOME=/usr/local/server/mq/rocketmq/
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH输入:wq! 保存并退出， 并使得配置立刻生效：
source /etc/profilejdk安装
主从配置
主机：192.168.88.131
cd /usr/local/server/mq/rocketmq/conf
cd 2m-2s-sync/
vim broker-a.properties
#所属集群名字
brokerClusterName=xuzhu_cluster
#broker 名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer 地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#在发送消息时，自动创建服务器不存在的 topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建 Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
brokerIP1=192.168.88.131
brokerIP2=192.168.88.131
listenPort=10911
#删除文件时间点，默认凌晨 4 点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog 每个文件的大小默认 1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue 每个文件默认存 30W 条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间 checkTransactionMessageEnable
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/server/mq/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/server/mq/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/server/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/server/mq/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/server/mq/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/server/mq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制 Master
#- SYNC_MASTER 同步双写 Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
#默认该值为false，表示该Broker不承载系统自定义用于存储消息轨迹的topic
traceTopicEnable=false重点配置：
#broker 名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer 地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#Broker 的角色
#- ASYNC_MASTER 异步复制 Master
#- SYNC_MASTER 同步双写 Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH移除broker-a-s.properties
rm -rf broker-a-s.properties
复制broker-a.properties到broker-a-s.properties再修改
cp broker-a.properties ./broker-a-s.properties
vim broker-a-s.properties 
重点配置修改：
#broker 名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer 地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#Broker 的角色
#- ASYNC_MASTER 异步复制 Master
#- SYNC_MASTER 同步双写 Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH移除broker-b.properties，复制broker-a.properties到broker-b.properties再修改
rm -rf broker-b.properties
cp broker-a.properties ./broker-b.properties
vim broker-b.properties 
重点配置修改：
#broker 名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer 地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#Broker 的角色
#- ASYNC_MASTER 异步复制 Master
#- SYNC_MASTER 同步双写 Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH移除broker-b-s.properties，复制broker-a-s.properties到broker-b-s.properties再修改
rm -rf broker-b-s.properties
cp broker-a-s.properties ./broker-b-s.properties
vim broker-b-s.properties 
重点配置修改：
#broker 名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer 地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#Broker 的角色
#- ASYNC_MASTER 异步复制 Master
#- SYNC_MASTER 同步双写 Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH同步配置到多台服务器
获取同步路径
主机192.168.88.131进入/usr/local/server/mq/rocketmq/conf/2m-2s-sync目录下
scp *.properties 192.168.88.133:/usr/local/server/mq/rocketmq/conf/2m-2s-sync
其他几台服务器也是类似的做法复制过去
第四节：启动
先启动master主机和slave主机的namesrv
nohup sh mqnamesrv > /dev/null 2>&1 &
启动broker
不同的服务器，启动的broker文件是不一样的
主1，启动broker
nohup sh mqbroker -c /usr/local/server/mq/rocketmq/conf/2m-2s-sync/broker-a.properties > /dev/null 2>&1 &
从1，启动broker
nohup sh mqbroker -c /usr/local/server/mq/rocketmq/conf/2m-2s-sync/broker-a-s.properties > /dev/null 2>&1 &
主2，启动broker
nohup sh mqbroker -c /usr/local/server/mq/rocketmq/conf/2m-2s-sync/broker-b.properties > /dev/null 2>&1 &
从2，启动broker
nohup sh mqbroker -c /usr/local/server/mq/rocketmq/conf/2m-2s-sync/broker-b-s.properties > /dev/null 2>&1 &
第五节：验证主从是否启动
启动
事先要查询下docker 有没有存在容器rocketmq-console-ng，如果有，要先删除
对docker不熟悉的同学，传送门-->docker 常用操作容器命令
docker run -e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.88.131:9876;192.168.88.133:9876;192.168.88.134:9876;192.168.88.135:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false" -p 8080:8080 -t --name rocketmq-console-ng styletang/rocketmq-console-ng
如图所示，两主双从的集群已经搭建成功。
以上是关于第八章：手把手教老婆实现：RocketMQ集群模式-RocketMQ主从-多Master多Slave模式的主要内容，如果未能解决你的问题，请参考以下文章
实战手把手教你从 0 到 1 搭建一套 RocketMQ 集群
Redis技术探索「数据迁移实战」手把手教你如何实现在线+离线模式进行迁移Redis数据实战指南（在线同步数据）