运行hadoop的时候提示物理内存或虚拟内存溢出的解决方案running beyond physical memory或者beyond vitual memory limits

Posted 诸葛小四

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了运行hadoop的时候提示物理内存或虚拟内存溢出的解决方案running beyond physical memory或者beyond vitual memory limits相关的知识,希望对你有一定的参考价值。

当运行中出现Container is running beyond physical memory这个问题出现主要是因为物理内存不足导致的,在执行mapreduce的时候,每个map和reduce都有自己分配到内存的最大值,当map函数需要的内存大于这个值就会报这个错误,解决方法:

在mapreduc-site.xml配置里面设置mapreduce的内存分配大小

<property>
      <name>mapreduce.map.memory.mb</name>
      <value>2048</value>
</property>

当运行中提示running beyond virtual memory limits. Current usage: 32.1mb of 1.0gb physical memory used; 6.2gb of 2.1gb virtual memory used. Killing container。
该错误是YARN的虚拟内存计算方式导致,上例中用户程序申请的内存为1Gb,YARN根据此值乘以一个比例(默认为2.1)得出申请的虚拟内存的 值,当YARN计算的用户程序所需虚拟内存值大于计算出来的值时,就会报出以上错误。调节比例值可以解决该问题。具体参数为:yarn-site.xml 中的yarn.nodemanayger.vmem-check-enabled

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>
<property>
   <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>5</value>
</property>

以上是关于运行hadoop的时候提示物理内存或虚拟内存溢出的解决方案running beyond physical memory或者beyond vitual memory limits的主要内容,如果未能解决你的问题,请参考以下文章

虚拟机显示物理内存不足怎么解决

内存不足、内存溢出的原因和解决方法?

Windows虚拟内存如何设置

关于Hadoop集群物理及虚拟内存的检测的设置说明

内存溢出

内存泄漏和内存溢出的区别是啥