Hadoop完全分布式配置 历史服务器&日志聚集

Posted 2021-09-20 ZSYL

配置 历史服务器&日志的聚集

• 配置历史服务器
• • 1）配置 mapred-site.xml
  • 2）分发配置
  • 3）在 hadoop102 启动历史服务器
  • 4）查看历史服务器是否启动
  • 5）查看 JobHistory
• 配置日志的聚集
• • 1）配置 yarn-site.xml
  • 2）分发配置
  • 3）关闭集群
  • 4）启动集群
  • 5）删除 HDFS 上已经存在的输出文件
  • 6）执行 WordCount 程序
  • 7）查看日志

配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

1）配置 mapred-site.xml

[zs@hadoop102 hadoop]$ vim mapred-site.xml

在该文件里面增加如下配置:

<!-- 历史服务器端地址 -->
<property>
 <name>mapreduce.jobhistory.address</name>
 <value>hadoop102:10020</value>
</property>

<!-- 历史服务器 web 端地址 -->
<property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>hadoop102:19888</value>
</property>

2）分发配置

[zs@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

3）在 hadoop102 启动历史服务器

[zs@hadoop102 hadoop]$ mapred --daemon start historyserver

4）查看历史服务器是否启动

[zs@hadoop102 hadoop]$ jps

5）查看 JobHistory

http://hadoop102:19888/jobhistory

配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动 NodeManager 、ResourceManager 和 HistoryServer。

开启日志聚集功能具体步骤如下：

1）配置 yarn-site.xml

[zs@hadoop102 hadoop]$ vim yarn-site.xml

在该文件里面增加如下配置:

<!-- 开启日志聚集功能 -->
<property>
 <name>yarn.log-aggregation-enable</name>
 <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property> 
 <name>yarn.log.server.url</name> 
 <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property>
 <name>yarn.log-aggregation.retain-seconds</name>
 <value>604800</value>
</property>

2）分发配置

[zs@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/yarnsite.xml

3）关闭集群

关闭 NodeManager 、ResourceManager 和 HistoryServer

[zs@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[zs@hadoop103 hadoop-3.1.3]$ mapred --daemon stop historyserver

4）启动集群

启动 NodeManager 、ResourceManage 和 HistoryServer

[zs@hadoop103 ~]$ start-yarn.sh
[zs@hadoop102 ~]$ mapred --daemon start historyserver

5）删除 HDFS 上已经存在的输出文件

[zs@hadoop102 ~]$ hadoop fs -rm -r /output

6）执行 WordCount 程序

[zs@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

7）查看日志

（1）历史服务器地址

http://hadoop102:19888/jobhistory

（2）历史任务列表

（3）查看任务运行日志

（4）运行日志详情

加油!

感谢!

努力!