FlinkYARN运行模式

Posted 2022-08-16 机智的小天文

YARN集群作业提交流程

会话（ Session）模式

在会话模式下，我们需要先启动一个YARN session，这个会话会创建一个 Flink集群。这里只启动了JobManager，而 TaskManager可以根据需要动态地启动。在 JobManager内部，由于还没有提交作业，所以只有 ResourceManager和 Dispatcher在运行。

（1）客户端通过 REST接口，将作业提交给分发器。
（2）分发器启动 JobMaster，并将作业（包含 JobGraph）提交给 JobMaster。
（3）JobMaster向资源管理器请求资源（ slots）。
（4）资源管理器向 YARN的资源管理器请求 container资源。
（5）YARN启动新的 TaskManager容器。
（6）TaskManager启动之后，向 Flink的资源管理器注册自己的可用任务槽。
（7）资源管理器通知 TaskManager为新的作业提供 slots。
（8）TaskManager连接到对应的 JobMaster，提供 slots。
（9）JobMaster将需要执行的任务分发给 TaskManager，执行任务。

单作业（ Per Job）模式

在单作业模式下，Flink集群不会预先启动，而是在提交作业时，才启动新的 JobManager。

（1）客户端将作业提交给 YARN的资源管理器，这一步中会同时将 Flink的 Jar包和配置
上传到 HDFS，以便后续启动 Flink相关组件的容器。
（2） YARN的资源管理器分配 Container资源，启动 Flink JobManager，并将作业提交给
JobMaster。这里省略了 Dispatcher组件。
（3）JobMaster向资源管理器请求资源（ slots）。
（4）资源管理器向 YARN的资源管理器请求 container资源。
（5）YARN启动新的 TaskManager容器。
（6）TaskManager启动之后，向 Flink的资源管理器注册自己的可用任务槽。
（7）资源管理器通知 TaskManager为新的作业提供 slots。
（8）TaskManager连接到对应的 JobMaster，提供 slots。
（9）JobMaster将需要执行的任务分发给 TaskManager，执行任务。 

应用（ Application）模式

应用模式与单作业模式的提交流程非常相似，只是初始提交给YARN资源管理器的不再是具体的作业，而是整个应用。一个应用中可能包含了多个作业，这些作业都将在 Flink集群中启动各自对应的 JobMaster。

YARN模式	会话（ Session）模式	单作业（ Per Job）模式	应用（ Application）模式
生命周期	关闭会话后停止	Job停止，集群停止	当Application全部执行完，集群才会停止
资源隔离	共享JobManager 和TaskManager	单个Job独享JobManager 和TaskManager	Application使用一套JobManager 和TaskManager
优点	预先启动，启动作业不再启动。资源充分共享	充分隔离，资源根据job 按需申请	Client 负载低，Application之间实现资源隔离，Application 内实现资源共享
缺点	资源隔离比较差，TaskManager不容易扩展	job 启动慢,每个job 需要启动一个JobManager	对per-job模式和session 模式的优化署 模式
main()	在客户端上执行	在客户端上执行	在cluster上执行