Spark History Server配置使用

Posted 大葱拌豆腐

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark History Server配置使用相关的知识,希望对你有一定的参考价值。

1、Spark History Server的作用 
在运行Spark应用程序的时候,driver会提供一个webUI用于展现应用程序的运行信息,但是该webUI随着应用程序的完成而关闭端口。也就是说,这个服务是伴随Spark应用程序的运行周期的,也就是当应用程序运行完成后,将无法查看应用程序的历史记录。Spark History Server就是为了应对这种情况而产生的,通过配置,Spark应用程序在运行完应用程序之后,将应用程序的运行信息写入指定目录,而Spark history server可以将这些运行信息装载并以web的方式供用户浏览 
伴随Spark应用程序而启动的web查看服务的默认端口号是4040,或者4041(如果当前端口被占用,比如4040被占用,那么Spark会抛一个异常,但是不影响应用继续运行,driver会使用这个已用的端口加1,以此类推) 
2、配置&使用Spark History Server 
(1)修改yarn-site.xml(需要重启所有NodeManager生效)

<property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
</property>

用命令查看日志 

bin/yarn logs –applicationId application_xxxx_xxx(只能查看运行完之后的作业日志) 

(2)修改yarn-site.xml(需要重启所有NodeManager生效)

<property>
      <name>yarn.log.server.url</name>
      <value>http://scbnode1:19888/jobhistory/logs</value>
</property>

(3)修改conf/spark-default.conf(下面的目录/tmp/spark/events事先在HDFS创建好)

spark.yarn.historyServer.address=scbnode1:18080
spark.history.ui.port=18080
spark.eventLog.enabled=true
spark.eventLog.dir=hdfs://scbnode1:9000/tmp/spark/events
spark.history.fs.logDirectory=hdfs://scbnode1:9000/tmp/spark/events

(4)启动Spark History Server

sbin/start-history-server.sh

(5)Spark History Server地址

http://scbnode1:18080/ 

 

以上是关于Spark History Server配置使用的主要内容,如果未能解决你的问题,请参考以下文章

Spark history Server配置实用

Spark配置Job History Server

Spark history-server 配置 !运维人员的强大工具

Spark 学习笔记之 Spark history Server 搭建

Spark history Server产生背景

spark history server 本地路径