为啥会出现纱线内存错误？

Posted 2023-03-23

【中文标题】为啥会出现纱线内存错误？

【英文标题】：Why do I get a yarn memory error?为什么会出现纱线内存错误？

【发布时间】：2018-06-02 18:41:08

【问题描述】：

在 HDP 2.6.3、Spark 2.2 和 Zeppelin 0.7.3 中出现此错误：

java.lang.IllegalArgumentException: Required executor memory (12288+384 MB) is above 
the max threshold (8192 MB) of this cluster! Please check the values of 
'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb'.

yarn.nodemanager.resource.memory-mb 最大 (8GB)。

我有 4 个节点，每个节点 16GB，所以我有 yarn.scheduler.maximum-allocation-mb = 14.25GB。

我试过了：

export ZEPPELIN_JAVA_OPTS="-Dspark.executor.memory=2g -Dspark.cores.max=7"

没有运气。

问题是12288，我该如何减少它？ 蒂亚！

【参考方案1】：

您可以随时提出yarn.nodemanager.resource.memory-mb，它应该与yarn.scheduler.maximum-allocation-mb 相同。 8 GB 是默认值，而不是最大值。