spark master web ui 能看到些啥信息

Posted 2023-05-02

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了spark master web ui 能看到些啥信息相关的知识，希望对你有一定的参考价值。

1.查看正在运行app的信息
访问master WEB UI ： http://master:8080
然后点击Running Applications 下Application ID或者Name查看信息

2.查看运行完成app的信息
按照上面在master WEB UI中的操作方法访问
会产生报错内容：

点击(此处)折叠或打开
No event logs were found for this application! To enable event logging, set spark.eventLog.enabled to true and spark.eventLog.dir to the directory to which your event logs are written.
解决办法：按照报错内容
（1）在$SPARK_HOME/conf中的创建spark-defaults.conf

点击(此处)折叠或打开
cp spark-defaults.conf.template spark-defaults.conf
然后在spark-defaults.conf中添加如下数据

点击(此处)折叠或打开
spark.eventLog.enabled=true

spark.eventLog.dir=/tmp/
（2）切换到/tmp/目录下，看有没有spark-events文件夹

点击(此处)折叠或打开
sudo mkdir spark-events

sudo chmod 777 spark-events
经过以上操作之后就可以像查看正在运行app一样在web ui查看已完成app的执行过程的详细信息

3.总结
（1）创建好事件的log信息，并设置好路径，就可以通过spark的web driver来访问已完成app的详细信息
（2）注意在写的spark python 程序结束时，执行sc.stop() 来完成app
（3）此方法使用在standalone mode下，若在其他模式下，可通过执行脚本$SPARK_HOME/sbin/start-history-server.sh 实现

4.参考链接：
http://apache-spark-user-list.1001560.n3.nabble.com/Spark-webUI-application-details-page-td3490.html
http://apache-spark-user-list.1001560.n3.nabble.com/Viewing-web-UI-after-fact-td12023.html 参考技术A 无所哒！那是可擦的啊！

Spark Web UI 监控详解

Spark集群环境配置

我们有2个节点，每个节点是一个worker，每个worker上启动一个Executor，其中Driver也跑在master上。每个Executor可使用的核数为2，可用的内存为2g，集群中所有Executor最大可用核数为4。

conf/spark-defaults.conf 部分参数配置如下：

  spark.master                     spark://Master:7077
  spark.executor.memory            2g
  spark.executor.cores             2
  spark.cores.max                  4

在提交jar包的时，按照需求分配executor的核数和memory数给不同的应用,若某个应用占用了所有的核和内存，剩下的应用只能等待这个程序执行完毕释放资源后才可执行。

conf/spark-env.sh 部分参数配置如下：

export SPARK_WORKER_CORES=2   
export SPARK_WORDER_INSTANCES=1
export SPARK_WORKER_MEMORY=2g

执行节点负载均衡问题

比如启动四个节点，但是在处理数据的时候负载不均衡，只有两个节点的使用率很高。可以推测与分区数有关，测试数据集为267MB，hdfs中默认的数据分片大小为128MB，约有两个分区。推测只有两个分区能拿到数据进行计算，所以将hdfs的数据分片大小改为64MB，这样约有4个分区，与集群中的Executor数目相符。经测试证明，负载不均衡的问题得到解决。

修改配置文件hdfs-site.xml，将block size设置为64MB

 <property>
   <name>dfs.block.size</name>
   <value>67108864</value>   说明：64M=64*1024*1024
 </property>

8080

技术图片

如上图所示，此页面自上而下包括：

spark版本信息，

spark master 的URL（worker用来连接此master的URL）

worker的数量：4

所有worker节点中可用和在用的core（查看资源的使用情况，参考是否适合再启动一个应用等）

所有worker节点中可用和在用的memory（如上）

正在运行和已经完成的应用数量

master当前状态

workers部分

展示集群中每个worker的位置，到当前状态，内核使用情况，内存使用情况

（通过查看内核和内存的用量情况确定是否足够运行一个新的应用）

点击workerID进入worker的detail页面会显示与该worker更详细的信息

（理想情况下，所有worker节点使用的内核数和内存应该是相同的，如果出现使用率不同的情况，说明集群资源未平均分配，应用未最佳化运行，需停止所有应用重新启动集群）

Running/Completed Application部分

分别展示在运行和已经运行完的应用信息，包括名称，获得的资源，开始时间，所有者，已运行时间，目前状态（RUNNING/FINISHED/结束原因）

（若state显示WAITING，则说明Spark对于应用没有足够的内存或内核，将保持等待直到有足够资源可用，有几种情况，一是直到已经在运行的一个应用完成运行，二是增加分配给spark worker的资源，三是将少应用的请求资源）

点击ApplicationID进入detail页面会显示看到关于该应用运行时的详细信息，包括参与的worker/使用的资源数/日志等

（如果一个任务失败或抛出了异常，可以查看stderr文件来调试问题）

4040

localhost:4040（当应用在运行中的时候可以访问，一旦应用执行结束该端口关闭不可访问）

如下图，显示基本的运行时间，调度模式（FIFO为先进先出），不状态中作业的统计量，并显示正在运行/已经完成/运行失败的spark作业较为详细的信息列表，例如，Job的提交时间/运行时间/目前为止每个Job完成的Stage和Task数量等
（从运行时间项可以观察到，若某一个Job花费时间异常，可以把问题缩小到该Job下的Stage或者Task）

技术图片