Kafka参数broker.id详解

Posted 2021-05-02 朱小厮的博客

kafka在启动服务之前必须要设定3个参数：broker.id、log.dirs、zookeeper.connect，这里我们就来重点说一下broker.id这个参数。在Kafka集群中，每个broker都有一个唯一的id值用来区分彼此。Kafka在启动时会在zookeeper中/brokers/ids路径下创建一个与当前broker的id为名称的虚节点，Kafka的健康状态检查就依赖于此节点。当broker下线时，该虚节点会自动删除，其他broker或者客户端通过判断/brokers/ids路径下是否有此broker的id来确定该broker的健康状态。

可以通过配置文件config/server.properties里的broker.id参数来配置broker的id值，默认情况下broker.id值为-1。Kafka broker的id值必须大于等于0时才有可能正常启动，但是这里并不是只能通过配置文件config/server.properties来修改这个值，还可以通过meta.properties文件或者自动生成功能来实现broker的id值的设置。

首先来了解一下meta.properties文件。meta.properties文件中的内容参考如下：

#
#Sun May 27 23:03:04 CST 2018
version=0
broker.id=1

meta.properties文件中记录了与当前Kafka版本对应的一个version字段，不过目前只有一个固定值0。还有一个broker.id即为当前Kafka broker的id值。Kafka成功启动之后在每个根目录下都会有一个meta.properties文件。

Kafka服务启动时也会加载配置文件config/server.properties里的参数log.dir和log.dirs，这两个参数用来配置Kafka日志文件所存放的根目录。一般情况下，log.dir用来配置单个根目录，log.dirs用来配置多个根目录，但是Kafka并没有对此做强制性限制，也就是说log.dir和log.dirs都可以用来配置单个或者多个根目录。log.dirs的优先级比log.dir高，如果没有配置log.dirs则才以log.dir配置的为准。默认情况下只配置了log.dir参数，其值为/tmp/kafka-logs。

meta.properties文件与broker.id的关联如下：

1. 如果log.dir或log.dirs中配置了多个根目录，那么这些根目录中的meta.properties文件所配置的broker.id不一致的话则会报出InconsistentBrokerIdException的异常。

2. 如果config/server.properties配置文件里配置的broker.id的值和meta.properties文件里的broker.id的值不一致的话，同样会报出InconsistentBrokerIdException的异常。

3. 如果config/server.properties配置文件中并未配置broker.id的值，那么就以meta.properties文件中的broker.id为准。

4. 如果没有meta.properties文件，那么在获取到合适的broker.id值之后会创建一个新的meta.properties文件并将broker.id的值存入其中。

如果config/server.properties配置文件中并未配置broker.id，并且根目录中也没有任何meta.properties文件（比如服务第一次启动时），那么应该作何处理呢？

对于Kafka中还提供了另外两个参数broker.id.generation.enable和reserved.broker.max.id来配合生成新的broker.id。broker.id.generation.enable参数是用来配置是否开启自动生成broker.id的功能，默认情况下为true，即开启此功能。自动生成的broker.id是有一个基准值的，即自动生成的broker.id必须超过这个基准值，这个基准值通过reserved.broker.max.id参数配置，默认值为1000，也就是说默认情况下自动生成的broker.id从1001开始。

自动生成broker.id的原理是先往/brokers/seqid节点中写入一个空字符串，然后获取返回的Stat信息中的version的值，然后将version的值和reserved.broker.max.id参数配置的值相加可得。之所以是先往节点中写入数据再获取Stat信息，这样可以确保返回的version值大于0，进而就可以确保生成的broker.id值大于reserved.broker.max.id参数配置的值，符合非自动生成的broker.id的值在[0, reserved.broker.max.id]区间的设定。

初始化时/kafka/brokers/seqid的状态如下：

[zk: xxx.xxx.xxx.xxx:2181(CONNECTED) 6] get /kafka/brokers/seqid
null
cZxid = 0x200001b2b
ctime = Mon Nov 13 17:39:54 CST 2017
mZxid = 0x200001b2b
mtime = Mon Nov 13 17:39:54 CST 2017
pZxid = 0x200001b2b
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 0

可以看到dataVersion=0，这个就是前面所说的version。在插入一个空字符串之后，dataVersion就自增1，表示数据发生了变更，这样通过zookeeper的这个功能来实现集群层面的序号递增的功能，整体上相当于一个发号器。

[zk: xxx.xxx.xxx.xxx:2181(CONNECTED) 7] set /kafka/brokers/seqid ""
cZxid = 0x200001b2b
ctime = Mon Nov 13 17:39:54 CST 2017
mZxid = 0x2000e6eb2
mtime = Mon May 28 18:19:03 CST 2018
pZxid = 0x200001b2b
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 2
numChildren = 0

大多数情况下我们一般都是通过并且习惯于用最普通的config/server.properties配置文件的方式来设定broker.id的值，但是如果知晓其中的细枝末节的话，在遇到诸如InconsistentBrokerIdException异常时可以处理的游刃有余，也可以通过自动生成broker.id的功能来实现一些另类的功能。

往

期

精

彩

《》

《》

《》

《》