rocketmq3.5.8 原理和集群安装

Posted 2020-08-23

阿里的rocketmq

RocketMQ是一款分布式、队列模型的消息中间件，具有以下特点：

1、支持严格的消息顺序；

2、支持Topic与Queue两种模式；

3、亿级消息堆积能力；

4、比较友好的分布式特性；

5、同时支持Push与Pull方式消费消息；

https://github.com/alibaba/RocketMQ/releases 最新版本

在生产环境部署Broker，请参考以下软硬件要求

https://github.com/alibaba/RocketMQ/wiki/system_requirements

rabbit不知道，但是rocket的性能是（万条每秒），并且能够横向无限扩展，单机topic数量在256时，性能损失较小。

rocket可以说是kafka的变种，是阿里在充分reviewkafka代码后，开发的metaQ。在不断更新，修补以后，阿里把metaQ3.0更名为rocket，并且rocket是java写的易于维护。

另外就是rocket和kafka有类似无限堆积的能力。想想，断电不丢消息，积压两亿条消息毫无压力，niubility

kafka和rocket性能根本不是你需要考虑的问题

导入本地包

mvn install:install-file -DgroupId=net.java.dev.jna -DartifactId=jna -Dversion=4.2.2 -Dpackaging=jar -Dfile=/root/jna-4.2.2.jar

以下文章非常有用

http://blog.csdn.net/zknxx/article/details/52974189

http://blog.csdn.net/crazyxq/article/details/52870502 

rocketmq3.5.8 编译好的包，自己编译太坑了

http://download.csdn.net/download/zknxx/9668351

生产一般都主主吧

RocketMQ-3.5.8双主双从配置及部署说明  

http://download.csdn.net/download/coffeelifelau/9667849

mkdir -p /var/log/rocketmqlogs

mkdir -p /data/rocketmq/store/commitlog  /data/logs

nohup sh mqnamesrv > /var/log/rocketmqlogs/namesrv.log 2>&1 &

a服务器

nohup sh mqbroker -c ../conf/2m-noslave/broker-a.properties  >/dev/null 2>&1 &

b服务器

nohup sh mqbroker -c ../conf/2m-noslave/broker-b.properties  >/dev/null 2>&1 &

配置文件参考

http://sofar.blog.51cto.com/353572/1540874

配置权限

chown -Rnobody.nobody Application

a.启动NameServer[master-a,master-b]

cd /data/Application/rocketmq/bin

sudo -u nobody nohup sh/data/Application/rocketmq/bin/mqnamesrv &

b.启动BrokerA[master-a]

sudo -u nobody nohup sh/data/Application/rocketmq/bin/mqbroker -c/data/Application/rocketmq/conf/2m-noslave/broker-a.properties >/dev/null2>&1 &

c.启动BrokerB[master-b]

sudo -u nobody nohup sh/data/Application/rocketmq/bin/mqbroker -c/data/Application/rocketmq/conf/2m-noslave/broker-b.properties >/dev/null2>&1 &

关闭nameserver或broker

sh ./mqshutdown

Useage: mqshutdown broker | namesrv

注意：

运行sh os.sh，会发现swap会占用一半，而内存会占用很少。

如果需要恢复成开始的样子，修改os.sh

sudo sysctl -w vm.extra_free_kbytes=0

sudo sysctl -w vm.min_free_kbytes=67584

sudo sysctl -w vm.overcommit_memory=0

sudo sysctl -w vm.drop_caches=0

sudo sysctl -w vm.zone_reclaim_mode=0

sudo sysctl -w vm.max_map_count=65530

sudo sysctl -w vm.dirty_background_ratio=10

sudo sysctl -w vm.dirty_ratio=20

sudo sysctl -w vm.dirty_writeback_centisecs=500

sudo sysctl -w vm.page-cluster=3

sudo sysctl -w vm.swappiness=60

然后重启后者用网上的swap.sh脚本找到占用swap的进程，重启之。

具体os.sh参数的作用

1.控制内存回收 grep low /proc/zoneinfo

这个参数值用来强制linux虚拟内存保留最小值的空闲

vm.extra_free_kbytes

vm.min_free_kbytes  

2.vm.max_map_count 虚拟内存使用

3.vm.swappiness

执行这个脚本出现内存占用的少的原因，估计就是调了控制内存回收

应该是控制broker同步的频率，这样做之后，只有很多的数据，才会同步。

测试

export NAMESRV_ADDR=ip1:9876\;ip2:9876

bash tools.sh com.alibaba.rocketmq.example.quickstart.Producer

bash tools.sh com.alibaba.rocketmq.example.quickstart.Consumer

要解决的问题

1.主主还是多主多从

http://blog.csdn.net/a19881029/article/details/34446629

2.如何顺序消费

RocketMQ消费并行度分两种情况

顺序消费方式并行度同Kafka完全一致

乱序方式并行度取决于Consumer的线程数，如Topic配置10个队列，10台机器消费，每台机器100个线程，那么并行度为1000

rocketmq 顺序消费理解

http://blog.csdn.net/u011686226/article/details/53465357

https://github.com/alibaba/RocketMQ/search?utf8=%E2%9C%93&q=sequence

3.

你是集群消费还是广播消费，集群消费的话每个消费者都会收到对应的消息，广播则不会，另外即使是集群环境下，也有可能重复消费消息，消费者自己要做到幂等

ps：说反了，不好意思，集群消费，只有一次，广播则多次，

目前rocketmq消费是有集群消费和广播消费，上面的楼主说错了，应该是集群消费只能有一个消费者消费一次，而广播消费则是所有的消费者都会消费一次，至于出现重复消费的问题，一种可能的原因是消费者消费完有没有做确认机制．

即使消费者做出了确认消费的标识，消费者还是可能出现重复消费的情况，那是一般在高并发下的出现的，rocketmq有说明，几乎主流的mq都有这种情况，一般的就是消费幂等

4.推荐Filter Server生产环境部署，为Consumer提供任意的服务器消息过滤能力

5.支持Topic与Queue两种模式  不是默认都同时支持的

6.rocketmq使用大内存是靠mmap堆外内存啊，而不是设置大的jvm堆内存的，java的堆最好不要超过10G，要不然性能不行

7.Producer/Consumer指定Name Server地址

通过代码中指定

producer.setNamesrvAddr("192.168.0.1:9876;192.168.0.2:9876");

或

consumer.setNamesrvAddr("192.168.0.1:9876;192.168.0.2:9876");

通过Java启动参数中指定

-Drocketmq.namesrv.addr=192.168.0.1:9876;192.168.0.2:9876

通过环境变量指定

exportNAMESRV_ADDR=192.168.0.1:9876;192.168.0.2:9876

8.监控

web平台监控

安装tomcat

这里就省略了。

将war放入webapps下，修改vimWEB-INF/classes/config.properties

rocketmq.namesrv.addr=RocketMQ01:9876   #这里只能写一个

throwDone=true

监控需要自己git后，编译，网上csdn有现成的。

9.benchmark

本文出自 “人，要有自己的想法” 博客，请务必保留此出处http://szgb2016.blog.51cto.com/340201/1882756