Kafka 中 Zookeeper 的作用

Posted 2021-10-01 张志翔ۤ

Kafka主要使用ZooKeeper来保存它的元数据、监控Broker和分区的存活状态，并利用ZooKeeper来进行选举

一、Kafka在ZooKeeper中保存了哪些信息？

 上图中圆角的矩形是临时节点，直角矩形是持久化节点

左侧这棵树保存的是Kafka的Broker信息，/brokers/ids/[0...N]，每个临时节点对应着一个在线的Broker，Broker启动后会创建一个临时节点，代表Broker已经加入集群可以提供服务了，节点名称就是BrokerID，节点内保存了包括Broker的地址、版本号、启动事件等等一些Broker的基本信息。如果Broker宕机或者与ZooKeeper集群失联了，这个临时节点也会随之消失

[zk: localhost:2181(CONNECTED) 0] ls /brokers    
[ids, topics, seqid]
[zk: localhost:2181(CONNECTED) 1] ls /brokers/ids
[0, 1, 2]
[zk: localhost:2181(CONNECTED) 2] get /brokers/ids/0
{"listener_security_protocol_map":{"PLAINTEXT":"PLAINTEXT"},"endpoints":["PLAINTEXT://192.168.126.158:9092"],"jmx_port":-1,"host":"192.168.
126.158","timestamp":"1568845320351","port":9092,"version":4}
cZxid = 0x600000097
ctime = Thu Sep 19 06:22:00 CST 2019
mZxid = 0x600000097
mtime = Thu Sep 19 06:22:00 CST 2019
pZxid = 0x600000097
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x272020001
dataLength = 200
numChildren = 0

右侧部分的这棵树保存的就是主题和分区的信息。/brokers/topics/节点下面的每个子节点都是一个主题，节点的名称就是主题名称。每个主题节点下面都包含一个固定的partitions节点，partitions节点的子节点就是主题下的所有分区，节点名称就是分区编号

每个分区节点下面是一个名为state的临时节点，节点中保存着分区当前的leader和所有的ISR的BrokerID。这个state临时节点是由这个分区当前的Leader Broker创建的。如果这个分区的Leader Broker宕机了，对应的这个state临时节点也会消失，直到新的Leader被选举出来，再次创建state临时节点

[zk: localhost:2181(CONNECTED) 0] ls /brokers/topics
[__transaction_state, __consumer_offsets, topic-demo]
[zk: localhost:2181(CONNECTED) 1] ls /brokers/topics/topic-demo
[partitions]
[zk: localhost:2181(CONNECTED) 2] ls /brokers/topics/topic-demo/partitions
[0, 1, 2, 3]
[zk: localhost:2181(CONNECTED) 3] ls /brokers/topics/topic-demo/partitions/0
[state]
[zk: localhost:2181(CONNECTED) 4] get /brokers/topics/topic-demo/partitions/0/state
{"controller_epoch":27,"leader":1,"version":1,"leader_epoch":43,"isr":[0,1,2]}
cZxid = 0x10000004c
ctime = Tue May 21 21:38:32 CST 2019
mZxid = 0x60000013c
mtime = Thu Sep 19 06:26:12 CST 2019
pZxid = 0x10000004c
cversion = 0
dataVersion = 85
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 78
numChildren = 0

二、Kafka客户端如何找到对应的Broker？

先根据主题和队列，在右边的树中找到分区对应的state临时节点，state节点中保存了这个分区Leader的BrokerID。拿到这个Leader的BrokerID后，再去左侧的树中，找到BrokerID对应的临时节点，就可以获取到Broker真正的访问地址了

Kafka在每个Broker中都维护了一份和ZooKeeper中一样的元数据缓存，并不是每次客户端请求元数据都去读一次ZooKeeper。由于ZooKeeper提供了Watcher的监控机制，Kafka可以感知到ZooKeeper中的元数据变化，从而及时更新Broker中的元数据缓存

Kafka的客户端并不会直接连接ZooKeeper，它只会和Broker进行远程通信，ZooKeeper上的元数据是通过Broker中转给每个客户端的，在需要的时候，通过RPC请求去Broker上拉取它关心的主题的元数据，然后保存到客户端的元数据缓存中，以便支撑客户端生产和消费。