如何监控 Apache Kafka 指标?

Posted

技术标签:

【中文标题】如何监控 Apache Kafka 指标?【英文标题】:How to monitor Apache Kafka metrics? 【发布时间】:2020-08-29 00:42:36 【问题描述】:

如何构建微服务来监控 Kafka 指标? 我不想使用融合控制中心或任何其他工具。

【问题讨论】:

这个问题对于***来说有点太笼统了。请提出具体问题 【参考方案1】:

在构建任何类似微服务的东西之前,我会探索kafka exporter for Prometheus 以以 prometheus 格式公开 Kafka 指标。然后,您可以使用 Prometheus 服务器来抓取这些指标,并使用 Grafana 进行仪表板/可视化。您可以使用其他工具代替 Prometheus/Grafana 进行抓取,例如Elastic Metricbeat(我提到它是因为您已经用“elasticsearch”标记了这个问题),但是 Prometheus/Grafana 组合很容易启动和运行 - 还有开箱即用的 Grafana 仪表板,您无需安装即可必须手动设置,例如this one.

【讨论】:

我想使用 Elasticsearch 和 Kibana

以上是关于如何监控 Apache Kafka 指标?的主要内容,如果未能解决你的问题,请参考以下文章

apache kafka监控系列-KafkaOffsetMonitor

Kafka监控工具汇总

技术实战 |《Apache Kafka实战》作者胡夕:Apache Kafka监控与调优

使用Kafka Assistant监控Kafka关键指标

Kafka快速入门——Kafka监控

Kafka快速入门——Kafka监控