哪里可以找到flink集群部署的详细步骤

Posted 2023-03-04

当 Flink 集群启动后，首先会启动一个 JobManger 和一个或多个的 TaskManager。由 Client 提交任务给 JobManager， JobManager 再调度任务到各个 TaskManager 去执行，然后 TaskManager 将心跳和统计信息汇报给 JobManager。 TaskManager 之间以流的形式进行数据的传输。上述三者均为独立的 JVM 进程。

Client 为提交 Job 的客户端，可以是运行在任何机器上（与 JobManager 环境连通即可）。提交 Job 后，Client 可以结束进程 （Streaming的任务），也可以不结束并等待结果返回。

JobManager 主要负责调度 Job 并协调 Task 做 checkpoint（分布式快照）。从 Client 处接收到 Job 和 JAR 包 等资源后，会生成优化后的执行计划，并以 Task 的单元调度到各个 TaskManager 去执行。

TaskManager 在启动的时候就设置好了槽位数（Slot），每个 slot 能启动一个 Task，Task 为线程。从 JobManager 处接收需要 部署的 Task，部署启动后，与自己的上游建立 Netty 连接，接收数据并处理。 参考技术A 2.解压
上传至五个节点的相同目录，执行如下命令解压：

tar xzf flink-1.3.1-bin-hadoop26-scala_2.11.tgz

3.配置master节点
选择一个 master节点(JobManager)然后在conf/flink-conf.yaml中设置jobmanager.rpc.address 配置项为该节点的IP 或者主机名。确保所有节点有有一样的jobmanager.rpc.address 配置。
4.配置slaves
将所有的 worker 节点 （TaskManager）的IP 或者主机名（一行一个）填入conf/slaves 文件中。
5.启动flink集群

bin/start-cluster.sh

6.注意本回答被提问者采纳

flink on k8s部署方案实践--详细步骤

背景

Flink-operator极大的方便了我们管理 Flink 集群及其作业，我们只需要自定义yaml文件就可以做到。

Flink 官方还未给出 flink-operator 方案，不过 GoogleCloudPlatform 提供了一种基于 kubebuilder 构建的 flink-operator方案。

接下来，将介绍 flink-operator 的安装方式和详细步骤。

Flink-operator环境搭建完毕之后，这个operator服务作为flink的控制器，打通了flink和k8s的界限，我们可以使用k8s的命令行进行 flink集群和资源的管理 和 任务创建提交了。

在使用层面，我们可以在有operator的基础上 创建flink session集群或者 flink job集群，operator 会自动检测到资源需求然后 实际进行 flink 任务集群的创建。

至于session集群和 job集群的区别，我们已经在上一篇文章 flink on k8s部署方案调研 中进行了说明。

Session 模式下，Flink 集群处于长期运行状态，当集群的Master组件接收到客户端提交的任务后，对任务进行分析并处理。

job集群 当任务被提交后，同样由 Flink 来向 kubernetes 申请资源，其过程与之前提到的 native session 模式相似，不同之处在于：
Flink Master是随着任务的提交而动态创建的。

详细说明可参考文档
https://googlecloudplatform.github.io/flink-