Apache Kafka：如何找出主题的消费者组？

Posted 2023-02-23

【中文标题】Apache Kafka：如何找出主题的消费者组？

【英文标题】：Apache Kafka: How to find out consumer group of a topic?

【发布时间】：2017-09-18 10:38:01

【问题描述】：

我正在使用 Scala 中的 Spark 流处理 Kafka。我需要从中获取消息的多个主题。为此，我需要输入每个主题的消费者组。

我尝试了以下命令：

bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --describe --group group_name

为此，我需要提及消费者组并检查我的主题是否属于该组。但我不知道某些主题的消费者群体价值。

那么，是否有任何命令或编程方式来查找给定主题的消费者组？

对此的任何帮助将不胜感激。 谢谢

【问题讨论】：

任何人，请建议一个命令或API来获取消费者组。

【参考方案1】：

您可以通过指定主题来读取各种主题的数据。您可以简单地创建主题地图。参考以下链接

https://www.tutorialspoint.com/apache_kafka/apache_kafka_consumer_group_example.htm

【讨论】：

我已经浏览了您建议的链接。该代码需要消费者组和主题作为命令行参数。但就我而言，我只有主题名称，我需要知道它的消费者群体。

【参考方案2】：

kafka 没有提供命令/API 来列出从指定主题消费的消费者组。相反，您可以使用 yahoo 开发的工具来管理 kafka 集群：Yahoo Kafka Manager。安装此软件并将 yahoo kafka manager 指向您的 kafka 集群后，您可以查看从指定主题消费的消费者组。

【参考方案3】：

for i in `kafka-consumer-groups --list --bootstrap-server localhost:9092`; do echo $i; (kafka-consumer-groups --describe --bootstrap-server localhost:9092 --group $i 2>&1| grep mytopic); done

这需要一些时间，因为它会检查所有主题，但会告诉哪些消费者组使用该主题。

【讨论】：

必须循环遍历所有内容非常耗时，但对我有用。我希望最终会有更简单的方法。