SPARK 资源调度源码总结
Posted xiangyuguan
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了SPARK 资源调度源码总结相关的知识，希望对你有一定的参考价值。
-
Executor在集群中分散启动，有利于task计算的数据本地化
-
默认情况下（提交任务的时候没有设置--executor-cores选项），每一个Worker为当前的Application启动一个Executor,这个Executor会使用这个Worker的所有的cores和1G内存
-
如果想在Worker上启动多个Executor，提交Application的时候要加--executor-cores这个选项
-
默认情况下没有设置--total-executor-cores,一个Application会使用Spark集群中所有的cores
以上是关于SPARK 资源调度源码总结的主要内容，如果未能解决你的问题，请参考以下文章
Driver在Cluster模式下的启动两种不同的资源调度方式源码彻底解析资源调度内幕总结(DT大数据梦工厂)
Spark资源调度机制源码分析--基于spreadOutApps及非spreadOutApps两种资源调度算法