RocketMQ消费批拉超过32不生效

Posted 2021-02-17 king1302217

由于一些原因，我需要RocketMQ消费的时候，一批拉400条，一批处理400条。设置如下：

为了简单验证是否正确，消费如下：

直接通过打印msgs.size()观察情况即可。

现象

实验的topic里面的消息数量很多很多，但是启动消费端，消费端的日志如下：

奇怪啦，明明已经进行了修改

为什么还是每次只能消费32条呢？

调试RocketMQ源码

通过跟踪consumer代码：

这里的确已经设置为400了，那么我们需要跟踪到broker服务端进行查看了。

broker接受到的也是400，我们只有继续跟踪

因为返回为true导致下面的if判断成立，for循环就break了，所有只取了32条数据返回到consumer了：

如果需要让可以一次拉取400条，需要修改broker这里的数据配置才可（其实关于一条消息大小也是类似的，虽然说最大设置16M，但是也是和这里同理需要设置broker相关的数据配置才可生效）。

修改broker的配置文件，添加：maxTransferCountOnMessageInMemory=400 重启broker即可，效果如下：

效果正常，其实如果消息过大，还需要考虑下面几个参数：

备注：也可以不用重启broker，通过命令实时修改：

sh mqadmin updateBrokerConfig -c 集群名称 -n namesrv  -k maxTransferCountOnMessageInMemory -v 400

总结

需要RocketMQ消费的时候，一批拉400条，一批处理400条。设置如下：

还是达不到效果的，还需要设置broker相关的参数，本次里面设置broker的maxTransferCountOnMessageInMemory=400即可，其他情况需要考虑如下等参数。

 

本文转载自http://www.jiangxinlingdu.com/rocketmq/2018/12/05/pullbatchsize.html