Flink 监控系列Flink 自定义 kafka metrics reporter 上报 metrics 到 kafka

Posted JasonLee实时计算

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink 监控系列Flink 自定义 kafka metrics reporter 上报 metrics 到 kafka相关的知识,希望对你有一定的参考价值。

Flink 自定义 kafka metrics reporter 上报 metrics 到 kafka

对于一个 Flink 任务来说,通常情况下,我们有三种方式查看 metrics:

  1. 直接在 Flink Web UI 上面查看。
  2. 通过 Flink 提供的 Metric Reporters 上报到外部系统,最终在 Grafana 上面展示。
  3. 通过 Flink Rest API 接口查看。

这三种方式各自有各自的使用场景,你可能会问,Flink 都已经提供了这么多种查看方式,那我们为什么还要自定义 kafka metrics reporter 呢?因为有时候我们可能需要根据 metrics 做更加复杂的计算,此时,把 metrics 上报到 kafka 然后再消费 kafka 的数据做对应的计算会更加合理一点,下面就来介绍一下如何实现自定义 kafka metrics reporter。

实现一个自定义的 metrics reporter 大概可以分为三步:

  1. 自定义 KafkaReporterFactory 实现 MetricReporterFactory 接口中的 createMetricReporter 方法。
  2. 自定义 KafkaReporter 继承 AbstractReporter 实现 Scheduled 接口中的相关方法。
  3. 在 META-INF/services 下的配置文件中添加对应的实现类。

KafkaReporterFactory

package

以上是关于Flink 监控系列Flink 自定义 kafka metrics reporter 上报 metrics 到 kafka的主要内容,如果未能解决你的问题,请参考以下文章

flink自定义metrics监控kafka消费

Flink实战系列Flink SQL 写入 kafka 自定义分区策略

Flink实战系列Flink 1.14.0 消费 kafka 数据自定义反序列化器

Flink 1.14.0 消费 kafka 数据自定义反序列化类

基于Flink的视频直播案例(上)

Flink SQL 自定义 format