SparkContext主构造函数代码提取

Posted 2020-07-03 永不停歇—胡章诚

这是阅读sparkContext类的代码做的一个笔记。阅读这个类的时候，主要的任务就是搞清楚sparkContext是怎么构造的，java、C#的class的初始化都是放在一个方法中的，而scala的主构造函数代码几乎散落在真个sparkContext类中，这就需要我们将其整理出来，才能有条理的进行阅读工作。

 

sparkContext的主构造函数中作的主要的几件事情有：

1、各种解析conf（这个我没有统一收录，实在太多，如果要看，直接到sparkContext类搜索“conf”） 

2、sparkEnv的创建，以及他内部组件（ListenerBus、metrics system、blockmanager等）的初始化、start

(ListenerBus、metrics system的简介贴上 http://blog.csdn.net/allwefantasy/article/details/50449464 )

3、 TaskScheduler、DAGScheduler、SparkUI 的创建及start

 

 上代码笔记图：（SparkContext主构造函数代码提取）