使用1个端口或具有10,000+个传感器数据的多个端口进行nifi摄取？

Posted 2021-04-11

我计划使用nifi从10,000多个传感器中提取数据。有50-100种类型的传感器会将特定的指标发送给nifi。

我正在考虑是否应该分配1个端口号以侦听所有传感器，还是应该为每种类型的传感器分配1个端口以简化我的数据管道。哪个是更好的选择？

是否可以使用nifi“监听”端口的数量上限？

答案

@@ ilovetolearn

NiFi是一种功能强大的工具。您可以执行任何一个想法，但我建议您做些更简单的事情。如果您有需要不同数据流的数据源传感器，请使用不同的端口。但是，如果您可以在单个端口上启动所有内容，则可以这样做。这使得它更易于实现，保持一致，以后更易于支持以及更易于扩展。

在大规模的高可用性NiFi中，您可能希望负载均衡器处理入站数据。这会将传感器数据推向LB设备上的单个host：port，然后通过3-5-10 +个节点定向到NiFi。

另一答案

我同意另一个答案，即一旦开始扩展规模，在NiFi前面安装外部负载均衡器将很有帮助。

关于流程设计，我建议使用单个裸露端口来摄取所有数据，然后使用RouteOnAttribute或RouteOnContent处理器将特定的传感器输入定向到不同的流程段。

NiFi的优势之一是给定足够的参数化流程的通用性质，因此，利用流程文件属性来动态处理不同的数据类型，比复制大量流程段来静态处理略有不同的数据要好。

运行多个摄取端口与单个端口和路由流文件的性能开销很大，因此这将为您带来很大的性能改进。您还可以使用“流程组”功能将流段组织为分层的嵌套组，以保持不同流段的整洁组织并执行访问控制。