为啥我在尝试访问 spark master webUI 时会重置连接？

Posted 2023-02-23

【中文标题】为啥我在尝试访问 spark master webUI 时会重置连接？

【英文标题】：why do I get a connection reset when trying to access the spark master webUI?为什么我在尝试访问 spark master webUI 时会重置连接？

【发布时间】：2021-07-30 06:26:28

【问题描述】：

我正在尝试在 CentOS8 上安装 spark 独立集群，并在启动后尝试访问 master 的 webUI 时不断重置连接。我错过了什么吗？请帮忙。

我有：

已安装java：

openjdk version "1.8.0_302" OpenJDK Runtime Environment (build 1.8.0_302-b08) OpenJDK 64-Bit Server VM (build 25.302-b08, mixed mode)

安装的scala：

Scala 代码运行器版本 2.10.6 -- 版权所有 2002-2013，LAMP/EPFL

/usr/lib/scala -> /usr/lib/scala3-3.0.1/

安装火花：

scala -> /usr/lib/scala3-3.0.1/

使用 .bash_profile 中的环境变量配置 bash 配置文件：

export PATH=$PATH/user/lib/scala/bin export SPARK_HOME=/opt/spark export PATH=$PATH:$SPARK_HOME/bin

在防火墙中开放了一些端口：

ports: 6066/tcp 7077/tcp 8080-8081/tcp

向 spark-env.sh 添加了配置

SPARK_LOCAL_IP='localhost' SPARK_MASTER_IP='spark-master' SPARK_MASTER_PORT='7077'

使用 start-master.sh 启动主服务器

使用 firefox 访问 http://localhost:7077 - 但不断重置连接

【参考方案1】：

Spark Master Web UI 端口默认为 8080。检查 http://localhost:8080。您可以使用 SPARK_MASTER_WEBUI_PORT 环境变量更改它。 For your reference.

【讨论】：

仍然得到连接被重置消息 - 7077 肯定是打开的

检查 $SPARK_HOME/logs 中的日志文件。如果您的 master 已启动并正在运行，您应该有以下信息行。 21/08/02 10:16:20 INFO Utils：在端口 7077 上成功启动服务“sparkMaster”。21/08/02 10:16:20 INFO Master：在 spark://:7077 21 启动 Spark Master /08/02 10:16:20 INFO Master：运行 Spark 版本 2.4.5 21/08/02 10:16:20 INFO Utils：在端口 8080 上成功启动服务“MasterUI”。21/08/02 10:16： 20 INFO MasterWebUI：将MasterWebUI绑定到0.0.0.0，并开始于http://:8080 21/08/02 10:16:20 INFO Master：我被选为l​​eader了！新状态：ALIVE