在storm中,我可以指定一个bolt将运行的工人数量吗?

Posted

技术标签:

【中文标题】在storm中,我可以指定一个bolt将运行的工人数量吗?【英文标题】:In storm, can I specify the number of workers a bolt will run on? 【发布时间】:2016-08-01 14:11:15 【问题描述】:

在使用 Trident 时,如果要在一个螺栓上处理一个批次,该批次可以在不同的工人上运行吗?

【问题讨论】:

我认为它的工作方式相反。您可以建议螺栓的并行性,并且可能应该据此配置工作人员的数量。我发现这有帮助:storm.apache.org/releases/current/… 谢谢,但我最想知道的是,如果我使用Trident批次,一个批次也可以在指定螺栓的不同工人上加工吗? 【参考方案1】:

你可以(但这很棘手)。没有。

对于 1) 没有用于此的配置参数。您只能配置整个拓扑的工作人员数量。但是,您可以实现自定义调度程序,将螺栓的执行者分配给特定数量的工人。

对于 2) 批次是一个“工作单元”,不能分割。因此,它不能被划分为多个工人。

【讨论】:

感谢您的热心帮助~~

以上是关于在storm中,我可以指定一个bolt将运行的工人数量吗?的主要内容,如果未能解决你的问题,请参考以下文章

Storm- 使用Storm实现词频汇总

Storm---DirectGroup(直接分组)

Storm 系列—— Storm 编程模型详解

storm中的一些概念

为 Apache Storm 上的 Bolt 添加重试机制

发送字节数组到storm kafka bolt