Spark ：Executor内存

Posted 2022-10-21 xiaopihaierletian

一、背景
        Spark是基于内存的分布式计算引擎，我们需对Executor内存管理的详细了解，方便我们遇到OOM解决问题、或者优化时更好调优，，Spark任务 启动时有两个进程，分别为Driver、Executor进程，Driver进程（内存默认1G）可能在本地启动，也可能在集群中某个工作节点上启动（根据提交模式client、Cluster等）。Driver启动会申请资源（Executor），根据配置启动对应Executor数量，每个Executor进程都会对应一定数量的内存和CPU CORE，每个Stage创建一批Task，然后将这些Task分配到各个Executor进程中执行。

 二、Executor内存简介
Spark 内存分为Storage内存、Execution内存， Storage内存主要有广播（Broadcast）数据、cache RDD数据；Execution主要是shuffle执行过程产生的中间数据；如图所示：

  

 

       根据上面图清晰描述了spark内存情况， Spark 2.x 采用Spark Unified Memeory，Storage、Execution双方有一方空闲可以借用（当不够用时，可以把借的部分要回来，让对方存储在磁盘），如果双方都不够用时，就存储在磁盘上。

参数说明： 

num-executors：设置有多少个Executor进程来执行任务
executor-memory：设置每个Executor进程对应的内存
executor-cores：设置每个Executor进程对应的CPU CORE数量
driver-memory：设置Driver 内存
spark.storage.memoryFraction：设置Executor内存占用的比例（默认0.6）
 三、Executor内存案例
                       

spark-submit --master yarn 
--deploy-mode cluster 
-num-executors 2 
--executor-cores 3 
--executor-memory 5G 
--conf spark.yarn.executor.memoryOverhead=3G 
--driver-memory 2G 

   1、driver+executor（2个） 总共3个进程

 

   2、storage Memory= executor-memory(5G) * spark.storage.memoryFraction(0.6)-reservedMemory(300M)=2.7G

        Executor内存=storage*spark.storage.safetyFraction（0.5）

       Storage内存=storage*spark.storage.safetyFraction（0.5）