Spark On YARN内存和CPU分配

Posted fansy1990

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark On YARN内存和CPU分配相关的知识,希望对你有一定的参考价值。

本篇博客参考:http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/ 

软件版本:

CDH:5.7.2,JDK:1.7;

问题描述:

在使用Spark On YARN时(无论是Client模式或者是Cluster模式,当然下面会有这种模式的对比区别),可以添加诸如:

以上是关于Spark On YARN内存和CPU分配的主要内容,如果未能解决你的问题,请参考以下文章

Spark On YARN内存和CPU分配

Spark记录-Spark On YARN内存分配(转载)

Spark On YARN内存分配

Spark on Yarn提交配置没有生效

在 Spark-on-Yarn 中配置 Executor 和 Driver 内存

Spark On Yarn 如何提高CPU利用率