五 通过命令行了解 Kafka消费者组

Posted 2023-03-30

参考技术A 本文操作基于 Docker comopose构建的本地kafka集群

开启一个生产者

查看myConsumerGroup的信息，此时消费者组中只有一个消费者，它一个消费所有分区。

参数解释：

生产者生产第二条消息msg2，查看myConsumerGroup消费者组：

第三条消息：

第四条消息：

生产更多的消息：

查看myConsumerGroup，看到多了一个CONSUMER-ID. 说明这个消费者组中有2个消费者。

查看消费者组信息。消费2条之前：

消费2条之后: 可以看到两个消费者各消费一条

查看此时的myConsumerGroup信息，能看到4个CONSUMER-ID，由于这个topic有4个partition，刚好每个consumer消费一个相应的partition:

这时生产4条消息，可以看到这4个消费者各自消费了一条，因为它们属于同一个消费者组。

查看消费者组信息，可以看到增加消费者之后，虽然CONSUMER-ID发生了变化，但是依然是4个消费者对应4个分区：

此时生产者生产十多条消息，可以看到有一个消费者一直消费不到消息。这是因为partition个数为4，而消费者组中的消费者个数为5，超过了分区数，造成浪费了一个消费者资源。

多个消费者可以通过拥有同样的group id，组成一个消费者组。
一个消费者组中的消费者共同消费消息，某一个topic的同一消息只能被其中一个消费者消费。