95-864-040-源码-HDFS-Flink 和 HDFS 的交互

Posted 2021-10-21 九师兄

文章目录

• 1.世界
• 2.Job 提交
• 3.Blob Service
• 4.JobGraphStore
• 5.Checkpoint

1.世界

2.Job 提交

在 client 提交 Job 的过程中，会将 HDFS 作为 client 和 AM 的文件传输中转站，具体被传输的文件有：

• flink jar: 即 flink 目录下的 conf 和 jar。
• ship files: 用户指定需要传输到集群中的文件。
• flink-conf: 提交过程中会在 configuration 中加入一些新的 kv 然后重新写入一个文件中，上传给 jm 和 tm 读取。
• user jar: 用户代码所在的 jar。
• jobGraph: 这个只有在 per-job 模式下才会将 jobGraph 序列化到磁盘，然后 jm 从 jobGraph 文件中提取 jobGraph 提交