Kafka数据倾斜到某一个分区解决方案

Posted 2023-01-22 D-小白兔

1、原因：

我们使用Kafka时，某时需要消息消费是有序的，因此在生产者投递消息时，可能会指定分区，或者指定Key，此时可能会导致数据倾斜到某一个分区。

由于Kafka消费的特性，即一个消费组，那怕此时消费组有2个以上消费者，此时同一个主分区，只能被一个消费者消费，当生产消息大于消费消息时，就会出现单一分区数据倾斜。

2、解决：

根本原因，当指定分区，或者指定Key投递消息时。生产消息大于消费消息时，出现单一分区数据倾斜，此时消费端不能水平扩展。解决方案：

1、优化消费端的消费能力，如原来是200ms，优化后是50ms，当然可能无法优化;

2、二次消费用多个topic分摊分流消息，详细如下：

1. 在消费端判定是哪个分区发生倾斜；
2. 为这个发生倾斜的分区，建多个topic分摊分流，二次投递消费，水平扩展服务器；
3. topic分摊分流，根据指定的Key，弄一个算法，以确保相同的Key落在同一个分区；