MapReduce文件配置和测试

Posted 2020-12-04 qingtianxt

　　1.前提：MapReduce能配置的前提是hdfs能够正常运行

　　2.在1的基础上，配置两个文件：
    在hadoop文件夹下配置两个文件mapred-site.xml（由mapred-site.xml.template） 和 yarn-site.xml
    
    　　yarn-site.xml
 

   <configuration>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>192.168.72.100</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    </configuration>

 

    
    　　mapred-site.xml

  <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

 

 
　　3.启动start.yarn.sh 会多出nodeManager和resourceManager,说明启动成功

　　4.测试是否可以使用，这里有一个MapReduce的helloworld
  　　  写一个文件，往里面输入一些内容，将文件放到hdfs上
　　    运行命令：
 　　   hadoop jar hadoop/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce- examples-2.7.3.jar wordcount /input /outputwordcount
　　    路径/文件 不存在的目录
    
 　　   这时候在这个不存在的里面会有每个单词在这篇文档出现的次数。