与 80000 个生产者和少数消费者进行消息传递

Posted

技术标签:

【中文标题】与 80000 个生产者和少数消费者进行消息传递【英文标题】:Messaging with 80000 producers and few consumers 【发布时间】:2018-03-03 12:20:46 【问题描述】:

我们正在寻求实施一个监控系统,我们必须在其中监控 80,000 个节点的一些细节。我们还希望从 80,000 个节点生成报告。我们正在考虑在每个节点上使用客户端将消息发送到队列中,另一个程序可以读取消息并生成累积报告。

我们正在考虑将 Kafka/ActiveMQ/RabbitMQ 作为消息传递解决方案的一些产品。哪个更合适?

每个节点的消息生成速度约为 5-10/s。

【问题讨论】:

【参考方案1】:

尝试每一个。使用这些技术中的每一种来模拟具有 80,000 个节点和一个处理器(阅读器程序)的环境。分析结果,然后选择最适合您情况的结果。感觉就像一个物联网场景,所以也试试其中一种物联网技术,比如 Azure 事件中心。

【讨论】:

以上是关于与 80000 个生产者和少数消费者进行消息传递的主要内容,如果未能解决你的问题,请参考以下文章

rocketmq初识

JMS消息传递类型特点介绍

专为实时而构建:使用Apache Kafka进行大数据消息传递 第2部分

41. Python Queue 多进程的消息队列 PIPE

RabbitMQ学习总结

Kafka的安装与使用(转)