Flink提交任务部署的两种方式

Posted 2023-03-14

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Flink提交任务部署的两种方式相关的知识，希望对你有一定的参考价值。

参考技术A

把Flink的任务提交到Yarn两个部署模式，一个是 session模式，一个是per job模式。

在yarn上启动一个守护进程，用于启动多个job，即启动一个application master 用来管理多个job
集群中的所有任务使用相同的资源，如果集群挂掉得重启集群中的所有任务。

先启动一个集群

再提交任务

启动一个单独的job提交到yarn集群上，即单job单session，实现资源的完全隔离。生产一般建议使用per job模式。

每个任务启动一个flink集群，各个集群之间独立运行，互不影响,且每个集群可以设置独立的配置

提交命令

参数说明

以上是关于Flink提交任务部署的两种方式的主要内容，如果未能解决你的问题，请参考以下文章