Grafana：如何获取关于 kafka 内部主题的数据？

Posted 2023-02-16

【中文标题】Grafana：如何获取关于 kafka 内部主题的数据？

【英文标题】：Grafana: how to get data about internal topics of kafka?

【发布时间】：2021-08-24 10:58:39

【问题描述】：

我想以 __consumer_offsets 主题的速率获取消息。 但是如果我把这个查询放在 grafana 中：

rate(kafka_server_brokertopicmetrics_messagesin_totaltopic="__consumer_offsets"[1m])

它显示没有数据。

它确实适用于其他主题。但是对于 __consumer_offsets 主题，没有。

为什么？

【问题讨论】：

你们有团体消费者吗？

@nipuna 没有。为什么？

【参考方案1】：

Kafka __consumer_offsets 主题获取消息，只有您拥有来自该集群的组消费者。

当您为主题启动组消费者时，对于每个分区，使用该组消费者保存在 __consumer_offsets 主题中的最后一个偏移量。

因此，如果您的集群中没有任何组消费者，很明显您的__consumer_offsets 没有任何消息。那么对于__consumer_offsets 主题的指标message in rate，您的grafana dashboard 中没有可显示的数据。