kafka exporter:查询获取当前消费者数量

Posted

技术标签:

【中文标题】kafka exporter:查询获取当前消费者数量【英文标题】:kafka exporter : query to get the current number of consumers 【发布时间】:2021-08-23 19:07:40 【问题描述】:

我正在实施一个具有消费者组自动缩放功能的 kafka 解决方案,并且我正在使用 Grafana 仪表板来显示 kafka 导出器指标,如下图所示。

您能否提示我应该运行什么 prometheus/Grafana 查询来显示特定消费者组的当前消费者数量。

【问题讨论】:

【参考方案1】:

使用 kafka_exporter 中的 kafka_consumergroup_members :- 消费者组指标中的成员数量

更新:-

添加prometheus截图和使用的图片。

使用的命令:-

docker run -ti --network=host --rm -p 9308:9308 danielqsj/kafka-exporter --kafka.server=<kafka_server>

【讨论】:

你确定 kafka_exporter 有指标 kafka_consumergroup_members,它没有列在 kafka_exporter 的文档中,也没有显示在我的 prometheus 指标上。.. 该文档似乎缺少此指标。但是我昨天已经测试了这个设置,因此上面的截图是:9308/metrics。虽然我使用了最新的图像。这将解释过时的文档。你能用更新的图像试试这个吗? docker run -ti --network=host --rm -p 9308:9308 danielqsj/kafka-exporter --kafka.server=&lt;kafka_server&gt;

以上是关于kafka exporter:查询获取当前消费者数量的主要内容,如果未能解决你的问题,请参考以下文章

kafka通过java api 获取当前消费组offset/logsize/lag信息,实现消费延迟监控

kafka通过java api 获取当前消费组offset/logsize/lag信息,实现消费延迟监控

关于怎么获取kafka指定位置offset消息(转)

Kafka分区数与消费者个数

如何使用 JAVA API 从 Kafka 获取每个主题的消息数量 [重复]

Kafka API获取非compacted topic总消息数