kafka消费组消费主题

Posted 2020-12-19

消费组消费主题特征：

• 同一个消费组里面消费者不能消费同一个分区
• 不同消费组里面的消费者可以消费同一个分区，相互独立互不干扰
• 当消费组中的消费者数量大于分区数量时，会存在浪费。因为有消费者分配不到partition进行消费。
• 在消费者不饱和的情况下，一个消费者是可以去消费多个分区的数据的 。

实验一:同一个消费组里面消费者不能消费同一个分区

• 创建topic（三个分区）

  kafka-topics.sh --create --topic topic002 --zookeeper 172.21.0.2:2181,172.21.0.3:2181,172.21.0.4:2181/kafka --partitions 3 --replication-factor 3

• 创建生产者

  kafka-console-producer.sh --topic topic002 --bootstrap-server 172.21.0.5:9092,172.21.0.6:9092,172.21.0.7:9092

• 创建同一个消费组（test-group01）中的三个消费者，进行主题消费

kafka-console-consumer.sh --topic topic002  --group test-group01 --bootstrap-server 172.21.0.5:9092,172.21.0.6:9092,172.21.0.7:9092

生产者生产投递9条消息，可以9条消息被投递到3不同分区，然后三个分区对应三个不同的消费者进行消费。

实验二：不同消费组里面的消费者可以消费同一个分区，相互独立互不干扰。

在实验一中已经新建了一个test-group01的消费组，对应三个消费者。现在创建一个新的test-group02消费组，对应2个消费者。

kafka-console-consumer.sh --topic topic002  --group test-group02 --bootstrap-server 172.21.0.5:9092,172.21.0.6:9092,172.21.0.7:9092  

可以看到 test-group01和test-group02 都可以消费同一个topic，且test-group01中的一个消费者跟test-group02中的一个消费者可以消费同一个分区，相互独立互不干扰。