kafka专栏消费者组数据积压的查看与处理方法

Posted 2022-07-08 字母哥哥

文章目录

• • 一、主题分区与消费者的数量
  • • 1.1.当分区数量多于消费者的数量
    • 1.2.当分区数量小于消费者数量
    • 1.3.当分区数量等于消费者的数量
    • 1.4.多个消费者组-多主题
  • 二、查看消费者组的数据积压
  • 三、数据积压如何处理？

在本专栏前面的文章已经为大家介绍过"消费者"与“消费者”组，在这里有必要回顾一下，并进行更深入的理解。

• 消费者组是一组具有共同消费特征的消费者的集合，对于kafka来说，这个特征就是这些消费者共同消费一个或几个主题。
• 消费者组存在的一个重要原因是：单个消费者无法满足某个主题下的数据处理的速度，所以需要多个消费者来负载

每一个消费者组内的消费者都具备一个共享id，即group id（消费者组id）。在创建消费者的时候，设置group id。默认创建消费者的group id是在KAFKA_HOME/conf/consumer.properties文件中定义的，默认值是test-consumer-group。

一、主题分区与消费者的数量

在开始为大家介绍消费者之前，有必要深入的了解一下“主题分区数量”与“消费者数量”之间的关系。kafka主题分区消费的一个原则是：一个分区