hadoop 3.x 配置历史服务器

Posted code never lies

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop 3.x 配置历史服务器相关的知识,希望对你有一定的参考价值。

修改$HADOOP_HOME/etc/hadoop/mapred-site.xml,加入以下配置(修改主机名为你自己的主机或IP,尽量不要使用中文注释)

 1 <!--history address-->
 2 <property>
 3         <name>mapreduce.jobhistory.address</name>
 4         <value>hadoop002:10020</value>
 5 </property>
 6 <!--history web address-->
 7 <property>
 8     <name>mapreduce.jobhistory.webapp.address</name>
 9     <value>hadoop002:19888</value>
10 </property>

依次执行start-dfs.sh,start-yarn.sh后jps查看namenode,datanode等是否启动,成功启动后启动history服务进程,执行mr-jobhistory-daemon.sh start historyserver,之后jps查看进程

(停止:mr-jobhistory-daemon.sh stop historyserver)

接下来执行MapReduce程序

hadoop fs -rm -r -f /usr/tele/hadoop/wcoutput

hadoop jar /opt/module/hadoop-3.1.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar wordcount /usr/tele/hadoop/wcinput /usr/tele/hadoop/wcoutput

执行完毕后进入mapreduce管理界面(主机号/ip:8088),点击history

如果无法连接,可以把防火墙关闭,或者修改/etc/sysconfig/iptables,开放我们上面配置的19888端口

-I INPUT -m state --state NEW -m tcp -p tcp --dport 19888 -j ACCEPT

之后重启下防火墙服务sudo service iptables restart,此时就可以访问了

 

以上是关于hadoop 3.x 配置历史服务器的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop入门——配置历史服务器及日志的聚集(图文详解步骤2021)

Hadoop3.x搭建详细教程 | 历史服务器的配置与日志聚合

Hadoop3.x搭建详细教程 | 历史服务器的配置与日志聚合

Hadoop3.x搭建详细教程 | 历史服务器的配置与日志聚合

hadoop历史服务的启动与停止

Hadoop 3.x yarn-site.xml 最小化配置参数