spark stage

Posted xiangyuguan

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark stage相关的知识,希望对你有一定的参考价值。

stage概念

Spark任务会根据RDD之间的依赖关系,形成一个DAG有向无环图,DAG会提交给DAGScheduler,DAGScheduler会把DAG划分相互依赖的多个stage,划分stage的依据就是RDD之间的宽窄依赖。遇到宽依赖就划分stage,每个stage包含一个或多个task任务。然后将这些task以taskSet的形式提交给TaskScheduler运行。stage是由一组并行的task组成

stage切割规则

从后往前,遇到宽依赖就切割stage

stage计算模式

pipeline:是一种计算模式,即管道计算模式

pipeline管道计算模式应用于stage的内部,task在完成RDD之间数据的传递是在内存传输的,而且是一条一条的传输, stage与stage之间会发生落地磁盘

以上是关于spark stage的主要内容,如果未能解决你的问题,请参考以下文章

Spark面试题——Spark资源调优

spark提交参数解析

科普Spark,Spark是啥,如何使用Spark

Spark系列

Spark-01 spark简介

Spark 内核 Spark 内核解析-下