MapReduce简介以及详细配置

Posted 2020-09-06 编程成为一种习惯

1.MapReduce(一个分布式运算框架)将数据分为数据块，发送到不同的节点，并行方式处理。

2.NodeManager和DataNode在一个节点上，程序与数据在一个节点。

3.内容分为两个部分

1) Map

读取文件，将数据分块，输入输出都是<key，value>

2) Reduce

输入输出都是<key，value>，输入的key是Map输出的key，输入的value是map输出的所有key一样的value

4.修改配置文件hadoop-2.6.0/etc/hadoop/mapred-site.xml 

这个文件在Hadoop中没有，需要复制一份，cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

          <property>

               <name>mapreduce.framework.name</name>

               <value>yarn</value>

    </property>

5.修改配置文件hadoop-2.6.0/etc/hadoop/yarn-site.xml

    <property>

         <name>yarn.nodemanager.aux-services</name>

         <value>mapreduce_shuffle</value>

    </property>

6.启动集群sbin/start-all.sh

一块启动了HDFS与MapReduce，依次执行了sbin/start-dfs.sh与sbin/start-yarn.sh

7.打开jps查看进程

32033 Jps

31718 SecondaryNameNode

31528 DataNode

31852 ResourceManager

31437 NameNode

31949 NodeManager

8.HDFS与MapReduce启动成功，关闭集群：sbin/stop-all.sh