Spark的Job的划分
Posted atbruce
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark的Job的划分相关的知识，希望对你有一定的参考价值。
Job的划分
1、Application :
应用，创建一个SparkContext可以认为创建了一个Application
2、Job
在一个app中每执行一次行动算子 就会创建一个Job,一个application会有多个job
3、stage
阶段，每碰到一个shuffle算子，会产生一个新的stage，一个Job中可以包含多个stage
4、task
任务，表示阶段执行的时候的并行度，一个stage会有多个task
以上是关于Spark的Job的划分的主要内容，如果未能解决你的问题，请参考以下文章
Spark 中 JobStageTask 的划分+源码执行过程分析