如何以编程方式获取 Spark UI 信息

Posted 2023-04-15

【中文标题】如何以编程方式获取 Spark UI 信息

【英文标题】：How to get SparkUI information Programatically

【发布时间】：2018-03-15 05:37:01

【问题描述】：

如何以编程方式获取 Spark 作业的 SparkUI 信息？ 我正在尝试从 SparkUI 获取所有信息并在作业运行时在控制台中打印。但我没有找到任何方法。

有没有类似于 Spark-listener 的方法来获取所有信息。

【参考方案1】：

这对我有用 - https://spark.apache.org/docs/latest/monitoring.html#rest-api?您应该能够从sc.applicationId 获得app-id。