Spark On YARN内存和CPU分配
Posted fansy1990
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark On YARN内存和CPU分配相关的知识,希望对你有一定的参考价值。
本篇博客参考:http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/
软件版本:
CDH:5.7.2,JDK:1.7;
问题描述:
在使用Spark On YARN时(无论是Client模式或者是Cluster模式,当然下面会有这种模式的对比区别),可以添加诸如:
以上是关于Spark On YARN内存和CPU分配的主要内容,如果未能解决你的问题,请参考以下文章