Spark 初始化机制(SparkContext干了什么?Scheduler 干了什么?)

Posted MISAYAONE

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark 初始化机制(SparkContext干了什么?Scheduler 干了什么?)相关的知识,希望对你有一定的参考价值。

Spark Scheduler 内部原理剖析 - 云+社区 - 腾讯云 (tencent.com)  

TaskScheduler

DagScheduler

SchedulerBackend

TaskSetManager

ExecutorAllocationManager

 

任务调度策略+失败重试机制+黑名单机制+动态资源分配机制+预测执行机制

Spark中资源与任务的关系 - 北辰Root - 博客园 (cnblogs.com)

(266条消息) 一文搞定Spark的调度器的通信终端(SchedulerBackend)_LMR的博客-CSDN博客

以后可能会看

 

以上是关于Spark 初始化机制(SparkContext干了什么?Scheduler 干了什么?)的主要内容,如果未能解决你的问题,请参考以下文章

SparkContext:运行 Spark 作业时初始化 SparkContext 时出错

spark源码解读-SparkContext初始化过程

spark源码之SparkContext

Spark源码剖析——SparkContext

Spark源码剖析——SparkContext

Spark源码剖析——SparkContext