Flink集群部署模式

Posted 2023-03-04

参考技术A 根据集群的生命周期、资源隔离方式和应用程序的main()方法执行位置(client或者JobManager)可以将集群部署模式分为：Flink Session Cluster(session mode)、Flink Job Cluster(per-job mode) 和Flink Application Cluster(application mode)三类。

Flink Session Cluster集群部署模式也称为session mode。该模式集群会预先启动、长时间运行，并且能够接收多个job提交运行。也就是提交到集群的job共享一套flink runtime cluster(JobManager和TaskManager)。

该模式特点如下：

Flink Job Cluster集群部署模式又称为per-job mode。该模式与Job绑定，集群管理器会为每个Job启动一个flink runtime cluster(JobManager和TaskManager)。Client会首先向集群管理器请求资源来启动JobManager，并将job提交给其内部的Dispatcher，TaskManager根据job的资源请求延迟分配启动的。

该模式特点如下：

NOTE: Flink Job Cluster模式不支持部署在Kubernetes上。

Flink Application Cluster集群部署模式又称为Application mode。该模式集群属于专属集群模式，只会执行一个Flink Application中的job，集群管理器为每个Flink Application启动一个flink runtime cluster(JobManager和TaskManager)。并且应用程序的main方法是运行在Cluster中，而不是client上。

该模式可以看做是对per-job模式和session模式的优化部署模式。集群执行job粒度上，相较前两者找到了更好的一个隔离点，并且减轻了Client的负载。

该模式特点如下：