Spark on Yarn提交配置没有生效
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark on Yarn提交配置没有生效相关的知识，希望对你有一定的参考价值。
参考技术A在Yarn上提交Spark任务，在提交时命令为
理论上提交的资源应该为内存1.5g，虚拟CPU2。
但是提交到Yarn，通过Web UI发现提交的配置并没有生效
以下相关参数：
spark.dynamicAllocation.minExecutors ，动态分配最小executor个数，在启动时就申请好的，默认0；
spark.dynamicAllocation.maxExecutors ，动态分配最大executor个数，默认infinity；
spark.dynamicAllocation.initialExecutors 动态分配初始executor个数默认值= spark.dynamicAllocation.minExecutors ；
spark.dynamicAllocation.executorIdleTimeout 当某个executor空闲超过这个设定值，就会被kill，默认60s；
spark.dynamicAllocation.cachedExecutorIdleTimeout ，当某个缓存数据的executor空闲时间超过这个设定值，就会被kill，默认infinity；
spark.dynamicAllocation.schedulerBacklogTimeout ，任务队列非空，资源不够，申请executor的时间间隔，默认1s
spark.dynamicAllocation.sustainedSchedulerBacklogTimeout ，同schedulerBacklogTimeout，是申请了新executor之后继续申请的间隔，默认=schedulerBacklogTimeout；
以上是关于Spark on Yarn提交配置没有生效的主要内容，如果未能解决你的问题，请参考以下文章