SPARK执行流程
Posted playforever
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了SPARK执行流程相关的知识，希望对你有一定的参考价值。
RDD运行原理
1.创建 RDD 对象
2.DAGScheduler模块介入运算，计算RDD之间的依赖关系。RDD之间的依赖关系就形成了DAG
3.每一个JOB被分为多个Stage，划分Stage的一个主要依据是当前计算因子的输入是否是确定的，如果是则将其分在同一个Stage，避免多个Stage之间的消息传递开销。
https://www.cnblogs.com/tgzhu/p/5818374.html
以上是关于SPARK执行流程的主要内容，如果未能解决你的问题，请参考以下文章