Flink 如何解析与传递参数

Posted @SmartSi

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink 如何解析与传递参数相关的知识,希望对你有一定的参考价值。

几乎所有的 Flink 应用程序(包括批处理与流处理程序)都需要依赖外部配置参数。例如,可以用来指定输入和输出源(如路径或者地址),系统参数(并发数,运行时配置)以及应用程序特定参数(通常用在自定义函数中)。

从 0.9 版本开始,Flink 提供了一个叫 ParameterTool 的简单程序,提供一些基础的工具来解决上述问题,当然你也可以不用这里描述的 ParameterTool,你可以使用其他框架,例如,Commons CLIargparse4j 在 Flink 中也是支持的。

1. 解析参数

下面我们看一下如何获取配置并导入 ParameterTool 中。ParameterTool 提供了一系列预定义的静态方法来读取配置信息,ParameterTool 内部存储是一个 Map<String, String> 数据结构,因此很容易与你自己的配置相集成。

1.1 读取.properties文件参数

下面方法将去读取一个本地 Properties 文件,并返回 key/value 键值对:

String propertiesFile = "/Users/wy/study/dev.properties"

以上是关于Flink 如何解析与传递参数的主要内容,如果未能解决你的问题,请参考以下文章

Flink 系统性学习笔记系列

如何使用 api rest 传递 flink 流作为参数并返回转换后的流

DolphinScheduler 传递参数到flink程序中

Flink 实战系列Flink pipeline.operator-chaining 参数使用以及源码解析

Flink 实战系列Flink pipeline.operator-chaining 参数使用以及源码解析

如何使用api rest通过flink流作为参数并返回转换后的流