Flink中逻辑计划和物理计划的概念划分和对应关系

Posted 2021-03-08 jaxyoun

逻辑计划

1. logicGraph或者jobGraph，其端点为operator，edge为数据流向。
2. operator往往代表一个函数。

3. 同一个分区内的具有连续上下游关系的函数组成operator-chain，一个operator-chain内的数据来流动过程中不会出现序列化和分区间的网络通信。

   物理计划

4. physicalGraph是逻辑执行计划为并行执行而翻译的结果，其端点为task，edge为数据流向及数据分区。
5. 一个task描述了一个operator或者operator-chain在分布式环境下对应的执行实例，是最小的调度单元。
6. 一个sub-task是处理分区数据的task在分布式环境下的一个分身。

7. 一个slot一时间只能执行一个sub-task（业务上一个slot一时间只能处理一条消息）。