当kafka集群其中一台宕机后，会怎么样？

Posted 2023-03-13

参考技术A

我们搭建好kafka集群后，对其进行性能测试。遇到这种场景：我搭建好了三台kakfa集群，然后停掉其中一台kafka，然后集群是否能正常工作呢？

kafka集群：

192.168.183.53 节点1

192.168.183.55 节点2

192.168.183.62 节点3

创建的主题是hw_data:

三个分区、三个副本

三个节点启动以后，集群正常工作，正常生产、正常消费。

但是当我们停掉其中一个节点后，发现集群不能正常工作了。

我的这个问题的凶手是：__consumer_offsets

首先查看系统的_offsets副本是几个？

我们看到 副本数为1，这就是导致我们当一个节点宕机后集群无法正常工作的原因！

__consumer_offsets这个topic是由kafka自动创建的，默认50个，但是都存在一台kafka服务器上，这是不是就存在很明显的单点故障？

经测试，如果将存储consumer_offsets的这台机器kill掉，所有的消费者都停止消费了。

__consumer_offsets是一个非常重要的topic，我们怎么能允许它只有一个副本呢？这样就存在单点故障，也就是如果该分区所在的集群宕机了的话，我们的消费者就无法正常消费数据了。

1.修改系统_offsets副本数为3

修改kafka的核心配置文件server.properties

将num.partitions参数（默认为1）修改为3,

另外需要添加auto.create.topics.enable=true ,如果没有对应的topic可以主动创建topic。

由于__consumer_offsets是kafka默认的主题，无法删除，我们可以删除zookeeper中的__consumer_offsets。
进入zookeeper/bin目录执行./zkCli.sh

先将集群停掉
在重新启动zookeeper和kafka
再次查看__consumer_offsets。发现副本数已经是3

在节点1修改__consumer_offsets后，在节点2和节点3查看__consumer_offsets发现副本数已经变为3，不需要再进行修改。

我的问题到这里就解决了：
启动kafka集群三个节点，然后停掉其中任意一个节点，集群是可以正常工作的。

查看创建的topic的副本数是否为1

进入zookeeper的bin目录，执行./zk.Cli.sh
删除brokers下的ids

重启kafka，应该就可以了。

我首先使用rmr /brokers/topics/topicname删除了zookeeper中的topic ，这样查看kafka中的topic时，显示已经没有了，

但是我又创建我刚刚删除的主题时，发现他已经显示被标记删除。

我的配置文件已经设置了删除topic为true，但是我删除的主题还是显示被标记删除，没有真正的删除

解决办法：

进入zookeeper的bin目录，执行./zk.Cli.sh

删除config、brokers、admin下的对应主题