是否有任何 Apache Kafka 消费者滞后检查器？

Posted 2023-03-25

【中文标题】是否有任何 Apache Kafka 消费者滞后检查器？

【英文标题】：Are there any Apache Kafka consumer lag checker?

【发布时间】：2015-11-24 04:37:01

【问题描述】：

我的 Kafka 消费者将他们的偏移量提交给 Kafka（而不是 Zookeeper），所以我不能使用 Kafka Manager。

Burrow 很棒，但是，我不能在我们的生产环境中使用 Go。 :(

所以我想知道除了上述两个之外还有任何 Apache Kafka 消费者滞后检查器吗？我用谷歌搜索了它，但没有找到太多有用的信息。提前致谢！

【问题讨论】：

如果您向他们提供二进制文件，谁会知道您正在使用 Go。说它是 C++ :)

【参考方案1】：

您可以使用 Remora https://github.com/zalando-incubator/remora。它是一个可以与您的 kafka 一起部署的应用程序

【讨论】：

请注意 remora 页面上 Inspiration 的评论。也许你不想再挖洞了。

免责声明：相关贡献者

【参考方案2】：

不完全一样，但可以用来监控延迟。

https://github.com/quantifind/KafkaOffsetMonitor

Topic position

【讨论】：

我以前听说过这个，不知道它已经更新为支持存储在 kafka 中的偏移量。会试试的，谢谢！

【参考方案3】：

每个 Kafka Consumer 实例还提供 records-lag-max JMX 指标。

因此，您可以通过访问 MBean Server 直接从您的应用程序中或远程监控它。