Flink 监控系列Flink 自定义 kafka metrics reporter 上报 metrics 到 kafka
Posted JasonLee实时计算
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink 监控系列Flink 自定义 kafka metrics reporter 上报 metrics 到 kafka相关的知识,希望对你有一定的参考价值。
Flink 自定义 kafka metrics reporter 上报 metrics 到 kafka
对于一个 Flink 任务来说,通常情况下,我们有三种方式查看 metrics:
- 直接在 Flink Web UI 上面查看。
- 通过 Flink 提供的 Metric Reporters 上报到外部系统,最终在 Grafana 上面展示。
- 通过 Flink Rest API 接口查看。
这三种方式各自有各自的使用场景,你可能会问,Flink 都已经提供了这么多种查看方式,那我们为什么还要自定义 kafka metrics reporter 呢?因为有时候我们可能需要根据 metrics 做更加复杂的计算,此时,把 metrics 上报到 kafka 然后再消费 kafka 的数据做对应的计算会更加合理一点,下面就来介绍一下如何实现自定义 kafka metrics reporter。
实现一个自定义的 metrics reporter 大概可以分为三步:
- 自定义 KafkaReporterFactory 实现 MetricReporterFactory 接口中的 createMetricReporter 方法。
- 自定义 KafkaReporter 继承 AbstractReporter 实现 Scheduled 接口中的相关方法。
- 在 META-INF/services 下的配置文件中添加对应的实现类。
KafkaReporterFactory
package
以上是关于Flink 监控系列Flink 自定义 kafka metrics reporter 上报 metrics 到 kafka的主要内容,如果未能解决你的问题,请参考以下文章
Flink实战系列Flink SQL 写入 kafka 自定义分区策略
Flink实战系列Flink 1.14.0 消费 kafka 数据自定义反序列化器