Flink 如何解析与传递参数
Posted @SmartSi
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink 如何解析与传递参数相关的知识,希望对你有一定的参考价值。
几乎所有的 Flink 应用程序(包括批处理与流处理程序)都需要依赖外部配置参数。例如,可以用来指定输入和输出源(如路径或者地址),系统参数(并发数,运行时配置)以及应用程序特定参数(通常用在自定义函数中)。
从 0.9 版本开始,Flink 提供了一个叫 ParameterTool 的简单程序,提供一些基础的工具来解决上述问题,当然你也可以不用这里描述的 ParameterTool,你可以使用其他框架,例如,Commons CLI、argparse4j 在 Flink 中也是支持的。
1. 解析参数
下面我们看一下如何获取配置并导入 ParameterTool 中。ParameterTool 提供了一系列预定义的静态方法来读取配置信息,ParameterTool 内部存储是一个 Map<String, String> 数据结构,因此很容易与你自己的配置相集成。
1.1 读取.properties文件参数
下面方法将去读取一个本地 Properties 文件,并返回 key/value 键值对:
String propertiesFile = "/Users/wy/study/dev.properties"
以上是关于Flink 如何解析与传递参数的主要内容,如果未能解决你的问题,请参考以下文章
如何使用 api rest 传递 flink 流作为参数并返回转换后的流
DolphinScheduler 传递参数到flink程序中
Flink 实战系列Flink pipeline.operator-chaining 参数使用以及源码解析