Hadoop 中每个节点的最大容器数是啥意思？

Posted 2023-04-18

【中文标题】Hadoop 中每个节点的最大容器数是啥意思？

【英文标题】：What does the number of maximum containers per node mean in Hadoop?Hadoop 中每个节点的最大容器数是什么意思？

【发布时间】：2018-08-09 03:56:43

【问题描述】：

在 Hadoop MapReduce 教程中，我看到了这些词

reduce 的正确数量似乎是 0.95 或 1.75 乘以（ * ）。

但我不知道是什么不。每个节点的最大容器数是以及如何设置它。我想知道如何设置每个节点的减速器数量。我还没有在文档中得到任何线索。

【问题讨论】：

***.com/questions/7247059/…这个链接有你要找的答案

抱歉，原问题的外观有误。我重新编辑了它。

【参考方案1】：

YARN NodeManager 以最大 JVM 大小启动

YARN 容器有自己的、可配置的大小。

将最小的 NodeManager 除以作业的 YARN 容器大小，这将是节点的最大容器数