SPARK 任务调度源码总结

Posted xiangyuguan

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了SPARK 任务调度源码总结相关的知识，希望对你有一定的参考价值。

  1. 任务调度可以从一个Action类算子开始，因为Action类算子会触发一个job的执行

  2. 划分stage,以taskSet形式提交任务，DAGScheduler 类中getMessingParentStages()方法是切割job划分stage

以上是关于SPARK 任务调度源码总结的主要内容，如果未能解决你的问题，请参考以下文章

SPARK 资源调度源码总结

Spark 源码解读SparkContext的初始化之创建任务调度器TaskScheduler

Spark源码剖析——SparkContext的初始化_创建任务调度器TaskScheduler

spark中资源调度任务调度

Driver在Cluster模式下的启动两种不同的资源调度方式源码彻底解析资源调度内幕总结(DT大数据梦工厂)

Spark 学习总结