hadoop中MapReduce配置

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop中MapReduce配置相关的知识,希望对你有一定的参考价值。

一,配置mapred-site.xml

进入以入目录

[root@hadoop01 hadoop]# cd /home/software/hadoop-2.7.1/etc/hadoop

复制mapred-site.xml示例文件

[root@hadoop01 hadoop]# cp mapred-site.xml.template mapred-site.xml

修改mapred-site.xml,增加如下标红内容:

mapreduce.framework.name

yarn

二,配置yarn-site.xml

进入以入目录

[root@hadoop01 hadoop]# cd /home/software/hadoop-2.7.1/etc/hadoop

修改yarn-site.xml

[root@hadoop01 hadoop]# vim yarn-site.xml

增加以下标红内容:

yarn.resourcemanager.hostname

hadoop01

yarn.nodemanager.aux-services

mapreduce_shuffle

补充:

在实际工作中,namenode节点和ResourceManager节点不在同一台服务器上。此外,

 

hadoop中MapReduce配置_hadoop

 

 

 

 

以上是关于hadoop中MapReduce配置的主要内容,如果未能解决你的问题,请参考以下文章

hadoop14hadoop2.5的mapreduce的 配置

大数据之Hadoop(MapReduce):压缩位置选择和压缩参数配置

Hadoop(十七)之MapReduce作业配置与Mapper和Reducer类

如何配置Hadoop得以开始Mapreduce编程

MapReduce编程实例5

Hadoop 7MapReduce执行环境配置