Spark搭建注意事项若干要点

Posted 2021-02-20 atbruce

一、关于UI地址

master: 8080

worker: 8081

application: 4040 (用来查看正在运行的app的情况, 一旦这个应用结束, 则无法查看)

二、历史服务器（这里说明yarn模式）

1、 配置历史服务器

　　1）spark-defaults.conf

　　　　默认配置

　　　　spark.eventLog.enabled           true

　　　　spark.eventLog.dir               hdfs://hadoop102:9000/spark-log-dir-1128

　　　　注意: 目录要手动提前创建好

　　2）spark-env.sh

　　　　1）export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://hadoop102:9000/spark-log-dir-1128"

　　　　　　不要忘记启动hdfs

　　　　2）启动历史服务器

　　3）重启集群

2、在hadoop的历史服务器点击 history直接连接到 spark 的日志.

　　1）可以在spark-default.conf中添加如下配置达到上述目的

　　2）spark.yarn.historyServer.address=hadoop102:18080
　　3）spark.history.ui.port=18080