Flink 监控指南 被动拉取 Rest API

Posted @SmartSi

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink 监控指南 被动拉取 Rest API相关的知识,希望对你有一定的参考价值。

Flink版本:1.13.5

Flink 的 Metric API 可用于查询正在运行的作业以及最近完成的作业的状态和统计信息。Flink 自己的 Web UI 也使用了这些 Metric API,但 Metric API 主要是为了自定义监视工具设计的。Metric API 是 REST-ful API,接受 HTTP 请求并返回 JSON 数据响应。

Metric API 由 JobManager 的 Web 服务器提供支持。默认情况下,服务器侦听 8081 的端口,可以通过 flink-conf.yaml 配置文件的 rest.port 配置对其修改。需要注意的是,监控 API 的 Web 服务器和 Web UI 的 Web 服务器目前是相同的,因此可以在同一端口上一起运行。但是,它们响应不同的 HTTP URL。

#rest.port: 8081
rest.port: 8090

防止端口冲突,在这把端口号修改为 8090。

在多个 JobManager 的情况下(为了高可用性),每个 JobManager 会运行自己的 Metric API 实例,由选为集群 Leader 的 JobManager 提供有关已完成和正在运行的作业的信息。

REST API 已版本化,可以通过在 URL 前面加上版本前缀来查询特定版本。前缀始终采用 v [version_number] 的形式。例如,要访问 /foo/bar 的 v1 版本,需要查询 /v1/foo/bar。如果未指定版本,那么 Flink 默认请求最旧版本。如果查询不支持/不存在的版本将返回 404 错误。

这些 API 中存在几种异步操作,例如,触发保存点,重新调整作业。他们会返回一个 trigg

以上是关于Flink 监控指南 被动拉取 Rest API的主要内容,如果未能解决你的问题,请参考以下文章

Flink入门——DataSet Api编程指南

Flink常用监控API

Flink常用监控API

如何将 SPARK/Flink 流数据处理创建为微服务(REST API)

如何使用 api rest 传递 flink 流作为参数并返回转换后的流

Flink 1.8 DataStream API Programming Guide 数据流API编程指南