Spark On YARN内存和CPU分配

Posted fansy1990

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark On YARN内存和CPU分配相关的知识,希望对你有一定的参考价值。

本篇博客参考:http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/ 

软件版本:

CDH:5.7.2,JDK:1.7;

问题描述:

在使用Spark On YARN时(无论是Client模式或者是Cluster模式,当然下面会有这种模式的对比区别),可以添加诸如:
--executor-memory 8G --executor-cores 5 --num-executors 20
等等这样的参数,但是这个和我们平常理解的感觉有误,或者说不直观,怎么说呢? 比如一个6节点(NodeManager)的集群,每个节点配置为:16 CPU核,64G内存,那么一般很容易提交代码的时候写成如下配置:
--num-executors 6 --executor-cores 15 --executor-memory 63G
但是这样配置后,你会发现,在8088端口的YARN监控上得到的不是你想得到的资源分配,那正确的配置应该是怎样的呢?

前备知识:

1. YARN NodeManager资源

NodeManager所在的机器如果是16核、64G,那么设置如下参数(这两个参数是NodeManager能分配的最大内存和最大cpu):
yarn.nodemanager.resource.memory-mb
yarn.nodemanager.resource.cpu-vcores
最好是小一点,比如设置内存为63G,核心为15,因为需要分配一些资源给系统以及后台Hadoop进程。当然,如果每个机器是6核,6G内存,那可以分配到5核以及5.5G内存左右;在原文中,说CDH机器可以自动的分配,不过我看到CDH集群设置这两个参数只是其能最大的值,也就是机器自身的资源。比如我的6核,6G内存,其配置如下:
(当然,默认是8G内存,8核CPU的)

2. Spark On YARN Client 和Cluster

Spark提交任务首先由客户端(CLient)生成一个Spark Driver,Spark Driver在YARN的NOdeManager中生成一个ApplicationMaster,ApplicationMaster向YARN Resourcemanager申请资源(这些资源就是NodeManager封装的Container,其中包含内存和cpu),接着Spark Driver调度并运行任务;那么Client和CLuster过程如下:
其中,左边是CLient模式,右边是Cluster模式,也就是说其实CLuster模式下,提交任务后,CLient可以离开了,而Client模式下,Client不可以离开; 另外,不管CLient或CLuster模式下,ApplicationMaster都会占用一个Container来运行;而Client模式下的Container默认有1G内存,1个cpu核,Cluster模式下则使用driver-memory和driver-cpu来指定; 但是这里有个问题,在Client模式下,这里的默认配置:
是512M的,但是参考博客里面说CDH里面这个默认是1G的(这里应该是1G的,不然的话,后面实验对应不到)

3. Spark On YARN资源申请

1. 用户通过executor-memory设置内存; 2. 经过spark.yarn.exeuctor.memoryOverhead的加持,申请的内存变为 executor-memory + max (384 , 0.1 * executor-memory) ;这里的384 和0.1(原文中这个值是0.07,这个需要注意)是参考下面的参数来的:
3. NodeManager在向上申请资源的时候会经过参数:
yarn.scheduler.minimum-allocation-mb // defalut 1G 
yarn.scheduler.increment-allocation-mb // default 512M
的加持,向上取整为2中的倍数,并且最接近2中的数值。比如说--executor-memory是3G,那么2中的值就是3G+ max(384 , 0.1 *3 *1024) = 3G + 384m ~ 3.5G ,所以NodeManager申请的资源应该就是3.5G(3584m),而不是3456m(3*1024+384)。
另外: executor-cores其实是设置并行的个数的,由于HDFS的bug,executor-cores建议设置为5或以下;

实验及如何设置资源分配:

1. 问题解答:

那么,回到最开始的问题,6个节点(NodeManager),每个64G内存,16核如果要使用尽可能多的集群资源,怎么分配: 1. 首先,去掉节点系统使用1G内存1核cpu,那么还剩63G内存,15核cpu; 2. 加入executor-cpus设置为5,也就是建议值的最大,那么每个节点可以分配3个Container ,即 15 /5= 3 个Executor; 3. 哪每个executor内存呢? 63/3 = 21G 内存,21G - max(384 ,0.1 *21G) = 18.9G ; 那么executor-memory应该设置为多少呢?这个值应该是18.5G,为什么是这个呢? a. 第一,这个值需要是512M的倍数; b,第二,xG + max(384m,0.1 * xG) < 21 G, 这个x 最大就是18.5G; 说道这里,需要说明一点,在参考的链接中参数0.1不是0.1,而是0.07,所以算的的executor-memory是19G,这个需要注意; 4. 那有多少个executor呢? 有人说这还不好算:6个节点 ,每个节点3executor,所以一共是18个;这个不对; 因为需要有一个container来部署ApplicationMaster,所以有个节点其资源就会减少,这也就是说在ApplicationMaster所在的节点上最多只能有2个executor,所以最终的参数是:
--num-executors 17 --executor-cores 5 --executor-memory 18944m
因为这个参数不能识别小数点,所以不能写成18.5G(注意这个值和原文中是不一样的,如果0.1参数在CDH集群中的默认值是0.07,那么就是原文的答案);

2. 5节点,6核cpu,6G内存怎么分配1

1. 去掉节点系统内存512M,1核cpu;还剩5核cpu,5.5G内存; 2. 如果每个executor的executor-cpus设置为5,那么也就是说每个节点有1个executor; 3. 这样子的话,executor-memory就应该设置为5G , 5G + max(384, 0.1 * 5G ) = 5.5G   ~ 5.5G ,这样子分配刚刚好; 4. executor就应该设置为4 ,因为其中一个NodeManager分配了ApplicationMaster,那么其就不能生成一个executor了; 启动参数为:
spark-shell --master yarn  --deploy-mode client --executor-memory 5G --executor-cores 4 --num-executors 4
5. 验证: a. 首先看资源分配: container个数5个? 这个怎么来的,明明申请了4个executor,每个executor对应一个container,那就是4个container,怎么会多一个呢?其实这个就是启动ApplicationMaster的container; cpu核有17个?  4*4 = 16 ,另外一个当然就是启动ApplicationMaster的资源了; 内存23552m ?  4 *5 *1024 = 20480,这不对呀,还差好多呢,那实际是怎么计算的呢?实际的计算方式应该是: 4* (5G + max(384m , 0.1 * 5G )) * 1024 + 1024 = 23552 ;   其中,最后一个加的就是启动ApplicationMaster默认的1G内存;
b. 看日志:

看日志其实这个过程就更加清晰了; 首先,可以看到4个container;其次内存是5632m = (5G + 0.1 *5G )* 1024。

3. 5节点,6核cpu,6G内存怎么分配2

除了2中的分配方式,有没有其他分配方式呢?如果每个executor-cpus是1呢? 1. executor-cpus=1 ; 那么每个节点就可以分5个executor; 2. 所以每个节点可以分 5.5G/ 5 = 1.1G ,所以最大只能1.1G,内存,而且NodeManager申请的资源只能是512M的整数倍,所以最大是1024M,那么executor-memory + max( 384, 0.1 * executor-memory) = 1024M ,那么executor-memory就等于640; 3. 有多少个executor呢? 4 * 5 = 20 ,运行ApplicationMaster节点的有多少个呢,去掉ApplicationMaster的资源1G内存,1cpu还剩4.5G内存,4cpu核,申请4个executor是可以的,所以一共就有 4* 5 + 4 = 24个container; 参数:
spark-shell --master yarn  --deploy-mode client --executor-memory 640m --executor-cores 2 --num-executors 24 

4. 验证:



4. 5节点,6核cpu,6G内存怎么分配3

除了2、3中的分配方式,有没有其他分配方式呢?如果每个executor-cpus是2呢? 1. executor-cpus=2 ; 那么每个节点就可以分2个executor(5/2 ~ 2 ,只能往低约等于); 2. 所以每个节点可以分 5.5G/ 2 = 2.75G ,所以最大只能2.75G,内存,而且NodeManager申请的资源只能是512M的整数倍,所以最大是2.5G,那么executor-memory + max( 384, 0.1 * executor-memory) ~ 2.5G ,那么executor-memory就等于2176; 3. 有多少个executor呢? 4 * 2 = 8 ,运行ApplicationMaster节点的有多少个呢,去掉ApplicationMaster的资源1G内存,1cpu还剩4.5G内存,4cpu核,只能申请1个executor是可以的,所以一共就有 4* 2 + 1 = 9个container; 参数:
spark-shell --master yarn  --deploy-mode client --executor-memory 2176m --executor-cores 2 --num-executors 9

4. 验证:



5. 5节点,6核cpu,6G内存怎么分配4

但是,如果上一个分配中的第2中分配的内存是executor-memory + max( 384, 0.1 * executor-memory) ~ 2G, 那么executor-memory= 1664m;这个时候有多少个container呢? 运行ApplicationMaster的这时就可以运行2个executor了,所以一共有10个executor; 参数:
spark-shell --master yarn  --deploy-mode client --executor-memory 1664m --executor-cores 2 --num-executors 10
验证:


总结:

1. Spark On YARN资源分配没有Spark StandAlone的那么明确,过程有点复杂; 2. 国外的文章参考价值还是蛮大的,毕竟很多技术都是从国外传过来的,google以后都不能用了,咋办?

分享,成长,快乐

脚踏实地,专注

转载请注明blog地址:http://blog.csdn.NET/fansy1990




以上是关于Spark On YARN内存和CPU分配的主要内容,如果未能解决你的问题,请参考以下文章

Spark On YARN内存和CPU分配

Spark记录-Spark On YARN内存分配(转载)

Spark On YARN内存分配

Spark on Yarn提交配置没有生效

Spark On Yarn 如何提高CPU利用率

关于Spark on Yarn的资源分配与Capacity Scheduler的研究