无法增加Max Application Master资源

Posted 2021-03-27

我正在使用uhopper/hadoop docker image来创建纱线簇。我有3个节点，每个节点有64GB RAM。我添加了配置。我已经给了纱线32GB。总簇内存为96GB。

 -    name: YARN_CONF_yarn_scheduler_minimum___allocation___mb
      value: "2048"
    - name: YARN_CONF_yarn_scheduler_maximum___allocation___mb
      value: "16384"
    - name:  MAPRED_CONF_mapreduce_framework_name
      value: "yarn" 
    - name: MAPRED_CONF_mapreduce_map_memory_mb
      value: "8192"
    - name: MAPRED_CONF_mapreduce_reduce_memory_mb
      value: "8192"
    - name: MAPRED_CONF_mapreduce_map_java_opts
      value: "-Xmx8192m"
    - name: MAPRED_CONF_mapreduce_reduce_java_opts
      value: "-Xmx8192m"
    - name: YARN_CONF_yarn_nodemanager_resource_memory___mb
      value: "32768"

最大应用程序主资源为10240 MB。我运行了5个火花作业，每个3 GB驱动程序内存，2个作业从未进入RUNNING状态，因为10240MB。我无法充分利用我的硬件。

如何增加Max Application Master Resources内存？

答案

我希望，我找到了答案，如果你改变yarn.scheduler.capacity.maximum-am-resource-percent，那么Max Application Master Resources将会改变。这是一个文档 - 来自docs.hortonworks.com的Setting Application Limits

让我知道它是否有效。

另一答案

要更改Maximum Application Master资源，您必须更改yarn.scheduler.capacity.maximum-am-resource-percent的百分比，默认情况下为0.2，这意味着分配给Yarn的内存的20％。

如果我没有错，给YARN的总内存是10240 MB（10GB），如果应用程序主机可以使用的最大百分比是20％，那么它将内存分配给AM 2GB。

现在，如果您想为应用程序主机分配更多内存，则只需增加百分比即可。但建议您的AM百分比不应超过0.5。希望现在能说清楚。