spark history server 本地路径

Posted merrily01

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark history server 本地路径相关的知识,希望对你有一定的参考价值。

本地启spark history server,spark.history.fs.logDirectory除了可以设置为hdfs远程目录外,还可以设置为本地路径,如:

 

./start-history-server.sh    file:///home/merrily01/scripts/logs/tmp_log/

 

这样直接把lz4文件放到上述本地路径下即可解析加载,无需获取lz4后再上传至指定hdfs路径,更方便快捷。

以上是关于spark history server 本地路径的主要内容,如果未能解决你的问题,请参考以下文章

spark history server 本地路径

spark history server 本地路径

Spark 学习笔记之 Spark history Server 搭建

Spark History Server 配置部署

Spark History Server无法启动

Spark History Server配置使用