Spark 学习笔记之 Spark history Server 搭建
Posted AK47Sonic
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark 学习笔记之 Spark history Server 搭建相关的知识，希望对你有一定的参考价值。
在hdfs上建立文件夹/directory
hadoop fs -mkdir /directory
进入conf目录
spark-env.sh 增加以下配置
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=7777 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://bjsxt/directory"
spark-defaults.conf 增加以下配置
spark.eventLog.enabled true
spark.eventLog.dir hdfs://bjsxt/directory
spark.eventLog.compress true
在sbin/目录下启动./start-history-server.sh
现在可以访问spark history log了！
以上是关于Spark 学习笔记之 Spark history Server 搭建的主要内容，如果未能解决你的问题，请参考以下文章
Spark 学习笔记之 MONGODB SPARK CONNECTOR 插入性能测试
Spark 学习笔记之 distinct/groupByKey/reduceByKey