spark 开启job history

Posted 2020-12-29 jason-dong

1.首先需要创建spark.history.fs.logDirectory

hadoop fs -mkdir hdfs://ns1:9000/user/hadoop/logs

 

2.修改hadoop-defaults.conf,添加如下内容

spark.eventLog.enabled  true  #允许开启日志
spark.eventLog.dir     hdfs://ns1:9000/user/hadoop/logs #日志存储目录
spark.eventLog.compress true #日志压缩

修改spark-env.sh 添加如下内容

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=7777 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://ns1:9000/user/hadoop/logs"

 

-Dspark.history.ui.port=7777   #设置日志监控端口

-Dspark.history.retainedApplications=3  #设置最多保留几个历史任务

-Dspark.history.fs.logDirectory=hdfs://ns1:9000/user/hadoop/logs #设置日志目录

3.启动日志服务

sh /usr/local/spark-2.1.0-bin-hadoop2.7/sbin/start-history-server.sh