spark history server 本地路径

Posted 2023-02-05 merrily01

本地启spark history server，spark.history.fs.logDirectory除了可以设置为hdfs远程目录外，还可以设置为本地路径，如：

./start-history-server.sh    file:///home/merrily01/scripts/logs/tmp_log/

这样直接把lz4文件放到上述本地路径下即可解析加载，无需获取lz4后再上传至指定hdfs路径，更方便快捷。

测试，上述方式在3.0的spark使用的时候可能会遇到问题？

所以还有如下方式：

通过参数配置方式，修改日志文件存储路径：

在spark包的conf目录下，同样使用spark-defaults.conf配置文件，通过：

        spark.history.fs.logDirectory  /home/prodadmin/merrily01/tmp/history_log

然后，直接通过./start-history-server.sh 启动服务即可。