Flink 监控系列Flink 自定义 kafka metrics reporter 上报 metrics 到 kafka

Posted 2022-08-09 JasonLee实时计算

Flink 自定义 kafka metrics reporter 上报 metrics 到 kafka

对于一个 Flink 任务来说，通常情况下，我们有三种方式查看 metrics:

1. 直接在 Flink Web UI 上面查看。
2. 通过 Flink 提供的 Metric Reporters 上报到外部系统，最终在 Grafana 上面展示。
3. 通过 Flink Rest API 接口查看。

这三种方式各自有各自的使用场景，你可能会问，Flink 都已经提供了这么多种查看方式，那我们为什么还要自定义 kafka metrics reporter 呢？因为有时候我们可能需要根据 metrics 做更加复杂的计算，此时，把 metrics 上报到 kafka 然后再消费 kafka 的数据做对应的计算会更加合理一点，下面就来介绍一下如何实现自定义 kafka metrics reporter。

实现一个自定义的 metrics reporter 大概可以分为三步：

1. 自定义 KafkaReporterFactory 实现 MetricReporterFactory 接口中的 createMetricReporter 方法。
2. 自定义 KafkaReporter 继承 AbstractReporter 实现 Scheduled 接口中的相关方法。
3. 在 META-INF/services 下的配置文件中添加对应的实现类。

KafkaReporterFactory

package