配置YARN

Posted 2021-01-20 413xiaol

1.配置yarn-site.xml(所有节点)
　　路径：
　　　　/usr/local/hadoop-2.7.3/etc/hadoop/yarn-site.xml
　　配置项：
　　　　<property>
　　　　　　<!-- 指明resourcemanager在什么地方 -->
　　　　　　<name>yarn.resourcemanager.hostname</name>
　　　　　　<value>master</value>
　　　　</property>

　　　　<property>
　　　　　　<name>yarn.nodemanager.aux-services</name>
　　　　　　<value>mapreduce_shuffle</value>
　　　　</property>

　　　　<property>
　　　　　　<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
　　　　　　<value>org.apache.hadoop.mapred.ShuffleHandler</value>
　　　　</property>
2.配置mapred-site.xml(所有节点)
　　路径：
　　　　/usr/local/hadoop-2.7.3/etc/hadoop/mapred-site.xml
　　配置项目：
　　　　<property>
　　　　　　<!-- 指明mapreduce跑在什么框架上，不配默认本机 -->
　　　　　　<name>mapreduce.framework.name</name>
　　　　　　<value>yarn</value>
　　　　</property>
　　说明：
　　　　默认没有mapred-site.xml文件，但是有一个mapred-site.xml.template，cp改名一个就好了
3.单独启动YARN
　　在每个节点上执行：yarn-daemon.sh
4.一键启动YARN
　　在master上执行：start-yarn.sh
5.Web监控地址（8088端口）
　　http://192.168.0.104:8088/cluster
　　如果启动不成功，参看"启动hadoop集群"里面写的"一键式启动"那里的配置，原理是一样的，这里也要配