伪分布式YARN的配置

Posted 2021-05-01 猿客进化

1、配置集群 A、配置yarn-env.sh——>配置JAVA_HOME

2）haddop安装目录下的cd  etc/haddop,编辑yarn-env.sh，vim yarn-env.sh。将查找到的JAVA_HOME的路径复制粘贴上即

B、配置yarn-site.xml   vim yarn-site.xml

<!-- Reducer获取数据的方式 --> <property>  <name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value> </property> <property>  <name>yarn.resourcemanager.hostname</name><value>hadoop01</value> </property

C、配置mapred-env.sh-->配置JAVA_HOM

D、配置mapred-site.xml(mapred-site.xml.template重命名后）

<!-- 指定MR运行在YARN上 --> <property>   <name>mapreduce.framework.name</name>   <value>yarn</value>  </property>

2、启动集群 A、 启动前必须保证NameNode和DataNode已经启动（jps)

B、启动ResourceManager sbin/yarn-daemon.sh start resourcemanager

C、启动NodeManager    sbin/yarn-daemon.sh start nodemanager

3、集群操作 A、登录网址http://192.168.1.129:8088/cluster

B、删除文件系统上的output文件

C、执行MapReduce程序

D、查看结果