带有 Ambari 的 NiFi 集群 - 维护的最佳实践是啥?

Posted

技术标签:

【中文标题】带有 Ambari 的 NiFi 集群 - 维护的最佳实践是啥?【英文标题】:NiFi cluster with Ambari - What are the best practices for maintenance?带有 Ambari 的 NiFi 集群 - 维护的最佳实践是什么? 【发布时间】:2020-05-29 09:14:56 【问题描述】:

我有一个由 Ambari 管理的具有多个节点的 NiFi 集群。

在保持服务正常运行的同时维护节点的最佳做法是什么?

    我是否应该断开与 NiFi 的节点,然后通过 Ambari 停止该节点上的 NiFi? (然后对每个节点重复) 或者直接使用 Ambari 停止/重启节点不会导致任何问题? 如何处理主节点?

【问题讨论】:

【参考方案1】:

@Eve NiFi 是一个很棒的工具,它应该可以让您完成上述所有操作并防止失败。你的 3 点中的每一个都有一些 cmets:

    从 ambari 停止 NiFi 是维护任何单个节点的好方法。无需断开连接。 我认为您的意思是在没有 ambari 的情况下重新启动节点?你也可以这样做,但我更喜欢#1。如果一个节点在 ambari 之外重新启动,代理应该恢复没有问题。如果 NiFI 设置为自动启动,它应该在代理在线后重新启动。 您的主节点非常重要,一旦您关闭主节点,就应该移动到另一个活动节点而无需任何额外操作。

最后但并非最不重要的一点是,计划维护时应充分考虑 NiFi 数据流本身。如果流量始终打开,您可能需要安排停机时间以避免 NiFi 可能非常忙于处理数据的时间点。在这一点上,停止节点上的服务或 nifi 本身可能会导致数据丢失或其他节点上的流量出现意外结果。在任何维护之前有步骤停止和备份流的情况并不少见。

【讨论】:

以上是关于带有 Ambari 的 NiFi 集群 - 维护的最佳实践是啥?的主要内容,如果未能解决你的问题,请参考以下文章

无法在启用 kerberos 的 3 节点集群上启动 NIFI

将 Apache NiFi 添加到现有的 Hortonworks HDP 集群

NiFi 1.16.3 生产使用的更新及BUG。

NiFi 1.16.3 生产使用的更新及BUG。

Hadoop深度运维:Apache集群原地升级Ambari-HDP

如何在 NiFi 中跟踪 HDFS Active Namenode 更改事件?