ZooKeeper 在 Kafka 2.1 中的实际作用是啥？

Posted 2023-03-10

【中文标题】ZooKeeper 在 Kafka 2.1 中的实际作用是啥？

【英文标题】：What is the actual role of ZooKeeper in Kafka 2.1?ZooKeeper 在 Kafka 2.1 中的实际作用是什么？

【发布时间】：2019-05-31 00:55:54

【问题描述】：

我看过一些类似的问题如下：

www.quora.com/What-is-the-actual-role-of-Zookeeper-in-Kafka-What-benefits-will-I-miss-out-on-if-I-don%E2%80%99t-use-Zookeeper-and-Kafka-together

Is Zookeeper a must for Kafka?

但我想知道关于这个问题的最新信息。

ZooKeeper 在 Kafka 2.1 中的实际作用是什么？

【问题讨论】：

最新信息仍可通过kafka.apache.org获取。你能解释一下那里不清楚的地方，以便可以相应地更新吗？

@cricket_007 kafka.apache.org 是一个很棒的网站。据我所知，关于Zookeeper的主要章节如下：http://kafka.apache.org/documentation/#zk,http://kafka.apache.org/documentation/#zk_authz。关于Zookeeper的其他信息比较分散。也许http://kafka.apache.org/documentation/#design的章节会更好，如果有独立的段落，重点放在Kafka 和 Zookeeper 的关系。

#zk 链接是针对上面部分的操作，而不是实现。这贯穿了 Kafka kafka.apache.org/documentation/#impl_zookeeper 存储的 Zookeeper 数据的设计。我同意它们可以更好地组合/引用。还有什么你认为缺少的吗？

@cricket_007 感谢您的理解。其他一切都很棒:)

【参考方案1】：

需要 Zookeeper 才能运行 Kafka 集群。

Kafka 代理使用它来执行选举（控制器和主题领导），store topic metadata and various other things（ACL、动态代理配置、配额、生产者 ID）

从 Kafka 0.9 开始，客户端不需要访问 Zookeeper，只有代理依赖它。

【讨论】：

我会说“（仍然）需要”:)

我知道一些讨论已经开始，但几个月前我与几个提交者进行了交谈，完全删除 Zookeeper 似乎不是很接近。

查看 KIP，我会说它至少通过 AdminClient 接口被抽象得足够多。最终，所有 CLI 工具都应该只需要 Kafka 连接。有了足够的抽象，Zookeeper 可能会被换成别的东西