Kafka 0.9 及更高版本中的 Zookeeper 故障

Posted 2023-03-10

【中文标题】Kafka 0.9 及更高版本中的 Zookeeper 故障

【英文标题】：Zookeeper failures in Kafka 0.9 and above

【发布时间】：2019-12-24 04:55:59

【问题描述】：

基于Is Zookeeper a must for Kafka? 中给出的答案。 Kafka 0.9及以上版本中Zookeeper的职责很明确

我只是想了解如果zookeeper集群完全宕机会有什么影响？

【参考方案1】：

kafka 使用 ZK 进行成员资格（找出存​​在哪些代理以及哪些代理还活着）和领导者选举（随时选择一个作为集群控制器的代理）。

简单地说——如果 ZK 失败，kafka 就会死掉。

如果 ZK 打喷嚏（比如特别长的 GC 暂停或短暂的网络连接问题），kafka 集群可能会暂时“失去”任意数量的成员和/或控制器。到此解决时，您可能会为所有分区拥有一个新的控制器和新的领导代理（这可能会或可能不会导致已确认数据的丢失，请参阅“不干净的领导选举”）。我不确定是否所有正在进行的事务都会回滚 - 从未尝试过。