kafkakafka topic某些分区 副本落后leader太多

Posted 2021-09-05 九师兄

文章目录

• 1.概述

1.概述

社区有人问 kafka topic某些分区 副本落后leader太多有大佬遇到过吗。有没有解决方案[表情]

然后我就想到了以下几个点：

1. 落后很多的话 请查看 网络是不是有问题
2. 还有就是irs是不是频繁变动
3. 看看集群是不是不稳定

但是经过确认

30多个topic都没有问题，只有一个数据量比较大的topic的某个broker为leader的一些分区有问题，要是集群不稳定的话，其他的topic应该也不会irs频繁变动，但是这里没有。

然后我就想 看看有没有设置，看看有没有设置，获取机器负载比较高。

同步进程没有设置，应该是默认值1，num.replica.fetchers 这个参数

主要是sparkstreaming消费这个topic，某些task拉取时间太长了。然后定位到是isr的问题。我现在给topic加了一倍的分区，sparkstreaming积压稍微小了点，