设置Hadoop的 dataNode的单个Map的内存配置

Posted 青天流云

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了设置Hadoop的 dataNode的单个Map的内存配置相关的知识,希望对你有一定的参考价值。

1、进入hadoop的配置目录 ,找到 环境变量的 $HADOOP_HOME
cd $HADOOP_HOME
2、修改dataNode 节点的 单个map的能使用的内存配置
找到配置的文件:
/opt/aisc/app/hadoop-2.3.0-cdh5.1.2/etc/hadoop/mapred-site.xml
 
增加如下的配置: 设置java的内存大小参数是;512M 大小根据的实际情况调整
 
<property>
<name>mapred.child.java.opts</name>
<value>-Xmx512m</value>
</property>

以上是关于设置Hadoop的 dataNode的单个Map的内存配置的主要内容,如果未能解决你的问题,请参考以下文章

如何查看hadoop mapreduce 性能

Hadoop的datanode超时时间设置

设置每个datanode里面的map数目,提高运行效率

hadoop datanode 不能连接 namenode

Hadoop2.0 datanode启动不成功:All specified directories are failed to load

hadoop balancer配置