SparkContext的初始化过程分析(源码)

Posted 大数据和人工智能躺过的坑

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了SparkContext的初始化过程分析(源码)相关的知识,希望对你有一定的参考价值。

  

 

 

 SparkContext的构造函数中,最重要的入参是SparkConf

 

 根据初始化入参生成SparkConf

 

再根据SparkConf来创建SparkEnv

 

 

 

 

 

 

 TaskScheduler.start的目的,是启动相应的SchedulerBackend,并启动定时器进行检测。

 

 

 

 

 

 

 

 

 

 

 

 

 总结

 

         

 

        

 

以上是关于SparkContext的初始化过程分析(源码)的主要内容,如果未能解决你的问题,请参考以下文章

spark源码解读-SparkContext初始化过程

《深入理解SPARK:核心思想与源码分析》——SparkContext的初始化(中)

《深入理解Spark-核心思想与源码分析》第三章SparkContext的初始化

Spark实战_SparkContext原理剖析与源码分析

SparkContext的初始化(叔篇)——TaskScheduler的启动

spark任务运行过程的源码分析