有没有办法找出 Spark Web UI 正在使用的端口？

Posted 2023-04-15

【中文标题】有没有办法找出 Spark Web UI 正在使用的端口？

【英文标题】：Is there a way to find out which port the Spark web UI is using?

【发布时间】：2018-01-19 19:49:42

【问题描述】：

我在 Jupyter 中开始我的 Spark 会话，如下所示：

from pyspark.sql import SparkSession

spark = ( SparkSession
            .builder
            .appName('analysis')
            .getOrCreate() )

有没有办法找出 Web UI 正在使用哪个端口？谢谢！

【问题讨论】：

我知道我们可以通过命令 'pyspark "spark.ui.port=4060" '使用特定端口登录到 pyspark。我敢肯定，会有一些方法可以从此属性打印端口值。可能来自 conf.getAll() 方法。请检查一下。

【参考方案1】：

你可以使用uiWebUrl属性：

>>> spark.sparkContext.uiWebUrl
'http://some_host:4040'

例如拆分

>>> spark.sparkContext.uiWebUrl.split(":")[-1]
'4040'

【参考方案2】：

这就是我在 pyspark 中发现的方法。

>>> import pyspark
>>> sc = pyspark.SparkContext(appName="some_app")
>>> sc.uiWebUrl

[1]: http://localhost:4041/jobs/