hadoop中MapReduce配置
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop中MapReduce配置相关的知识,希望对你有一定的参考价值。
一,配置mapred-site.xml
进入以入目录
[root@hadoop01 hadoop]# cd /home/software/hadoop-2.7.1/etc/hadoop
复制mapred-site.xml示例文件
[root@hadoop01 hadoop]# cp mapred-site.xml.template mapred-site.xml
修改mapred-site.xml,增加如下标红内容:
mapreduce.framework.name
yarn
二,配置yarn-site.xml
进入以入目录
[root@hadoop01 hadoop]# cd /home/software/hadoop-2.7.1/etc/hadoop
修改yarn-site.xml
[root@hadoop01 hadoop]# vim yarn-site.xml
增加以下标红内容:
yarn.resourcemanager.hostname
hadoop01
yarn.nodemanager.aux-services
mapreduce_shuffle
补充:
在实际工作中,namenode节点和ResourceManager节点不在同一台服务器上。此外,
以上是关于hadoop中MapReduce配置的主要内容,如果未能解决你的问题,请参考以下文章
hadoop14hadoop2.5的mapreduce的 配置
大数据之Hadoop(MapReduce):压缩位置选择和压缩参数配置