flink on k8s部署方案实践--详细步骤

Posted 2022-03-05 张小凡vip

背景

Flink-operator极大的方便了我们管理 Flink 集群及其作业，我们只需要自定义yaml文件就可以做到。

Flink 官方还未给出 flink-operator 方案，不过 GoogleCloudPlatform 提供了一种基于 kubebuilder 构建的 flink-operator方案。

接下来，将介绍 flink-operator 的安装方式和详细步骤。

Flink-operator环境搭建完毕之后，这个operator服务作为flink的控制器，打通了flink和k8s的界限，我们可以使用k8s的命令行进行 flink集群和资源的管理 和 任务创建提交了。

在使用层面，我们可以在有operator的基础上 创建flink session集群或者 flink job集群，operator 会自动检测到资源需求然后 实际进行 flink 任务集群的创建。

至于session集群和 job集群的区别，我们已经在上一篇文章 flink on k8s部署方案调研 中进行了说明。

Session 模式下，Flink 集群处于长期运行状态，当集群的Master组件接收到客户端提交的任务后，对任务进行分析并处理。

job集群 当任务被提交后，同样由 Flink 来向 kubernetes 申请资源，其过程与之前提到的 native session 模式相似，不同之处在于：
Flink Master是随着任务的提交而动态创建的。

详细说明可参考文档
https://googlecloudplatform.github.io/flink-