一天内到达 Kafka 主题的消息数

Posted 2023-02-16

【中文标题】一天内到达 Kafka 主题的消息数

【英文标题】：Number of messages that arrived on Kafka topic in a day

【发布时间】：2020-12-09 17:41:05

【问题描述】：

有没有办法获取量？ 正在寻找一种可以获取特定日期到达某个主题的消息数量的解决方案。

Ps- 我们有 confluent 企业，也使用 prometheus 和 grafana 作为指标。

【问题讨论】：

AFAIK，指标仅提供随时间摄取的字节数，而不是消息数

【参考方案1】：

我不熟悉 Confluent 企业，但我们正在使用 Burrow to Prometheus 收集 Kafka 指标，并使用此指标来显示传入消息率：

sum(rate(**kafka_burrow_topic_partition_offset**cluster="Kafka1",topic="myTopic"[5m]))

阅读此https://www.datadoghq.com/blog/collecting-kafka-performance-metrics/#monitor-consumer-health-with-burrow

来自Kafka Monitoring文档：

kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec