SparkContext的初始化过程分析(源码)
Posted 大数据和人工智能躺过的坑
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了SparkContext的初始化过程分析(源码)相关的知识,希望对你有一定的参考价值。
SparkContext的构造函数中,最重要的入参是SparkConf
根据初始化入参生成SparkConf
再根据SparkConf来创建SparkEnv
TaskScheduler.start的目的,是启动相应的SchedulerBackend,并启动定时器进行检测。
总结
以上是关于SparkContext的初始化过程分析(源码)的主要内容,如果未能解决你的问题,请参考以下文章
《深入理解SPARK:核心思想与源码分析》——SparkContext的初始化(中)
《深入理解Spark-核心思想与源码分析》第三章SparkContext的初始化