与 80000 个生产者和少数消费者进行消息传递
Posted
技术标签:
【中文标题】与 80000 个生产者和少数消费者进行消息传递【英文标题】:Messaging with 80000 producers and few consumers 【发布时间】:2018-03-03 12:20:46 【问题描述】:我们正在寻求实施一个监控系统,我们必须在其中监控 80,000 个节点的一些细节。我们还希望从 80,000 个节点生成报告。我们正在考虑在每个节点上使用客户端将消息发送到队列中,另一个程序可以读取消息并生成累积报告。
我们正在考虑将 Kafka/ActiveMQ/RabbitMQ 作为消息传递解决方案的一些产品。哪个更合适?
每个节点的消息生成速度约为 5-10/s。
【问题讨论】:
【参考方案1】:尝试每一个。使用这些技术中的每一种来模拟具有 80,000 个节点和一个处理器(阅读器程序)的环境。分析结果,然后选择最适合您情况的结果。感觉就像一个物联网场景,所以也试试其中一种物联网技术,比如 Azure 事件中心。
【讨论】:
以上是关于与 80000 个生产者和少数消费者进行消息传递的主要内容,如果未能解决你的问题,请参考以下文章
专为实时而构建:使用Apache Kafka进行大数据消息传递 第2部分