kafka 消费者的工作流程

Posted 2022-04-12 健康平安的活着

一 kafka消费者

1.1 kafka消费的方式

consumer 采用从 broker 中主动拉取数据。 Kafka采用这种方式。 pull 模式不足之处是，如 果 Kafka 没有数 据，消费者可能会陷入循环中，一直返回 空数据。 不采用 push（推）模式是因为： Kafka 没有采用这种方式，因为由 broker 决定消息发送速率，很难适应所有消费者的 消费速率。例如推送的速度是50m/s，Consumer1、Consumer2就来不及处理消息。

 1.2 Kafka 消费者总体工作流程

1.3 消费者组的概念

Consumer Group（CG）：消费者组，由多个consumer组成。形成一个消费者组的条件，是所有消费者的groupid相同。

1.消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费。

2.消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。

3.如果向消费组中添加更多的消费者， 超过 主题分区数量，则有一部分消费者就会闲 置，不会接收任何消息。