Worker spark webUI 在 Apache Spark 中不起作用

Posted

技术标签:

【中文标题】Worker spark webUI 在 Apache Spark 中不起作用【英文标题】:Worker spark webUI is not working in Apache Spark 【发布时间】:2017-11-17 14:11:45 【问题描述】:

我在 3 个 ubuntu 虚拟机中安装了 spark,1 个是控制节点,2 个是数据节点。通过 sbin/start-master.sh 和 sbin/start-slaves.sh 启动所有节点后,主 webUI 工作,但是当我们单击工作节点时,WebUI 未加载,在图片中显示错误`Master webUIWorker webUI

【问题讨论】:

【参考方案1】:

导致此问题的可能原因:

1.首先您尝试使用 spark master URL 启动从节点,如下所示。 ./sbin/start-slave.sh spark://:7077

    如果上述修复无法解决问题,请尝试通过访问实际 IP 为 192.168.x.x 而不是 127.0.0.1 的工作人员 UI 来修复它

    如果上述步骤无法解决问题,请按照以下说明操作,http://chennaihug.org/knowledgebase/spark-master-and-slaves-multi-node-installation/

【讨论】:

以上是关于Worker spark webUI 在 Apache Spark 中不起作用的主要内容,如果未能解决你的问题,请参考以下文章

Spark安装

大数据常用的端口(汇总)

Spark 安装和配置

作业未显示在 Spark WebUI 上

为啥我在尝试访问 spark master webUI 时会重置连接?

Spark启动时报错localhost: failed to launch: nice -n 0 /home/chan/spark/spark-2.4.3-bin-hadoop2.7/bin/spar