Apache Spark master 运行失败

Posted 2023-04-18

【中文标题】Apache Spark master 运行失败

【英文标题】：Apache Spark master running failed

【发布时间】：2016-04-24 20:33:45

【问题描述】：

我尝试运行C:\Spark\spark-1.6.1-bin-hadoop2.6\sbin>start-master.sh ，但是出现了下面的错误

我还注意到运行bin/spark-shell时出现警告

16/04/24 23:14:41 WARN : Your hostname, Pavilion resolves to a loopback/non-reachable address: fe80:0:0:0:0:5efe:c0a8:867%net14, but we couldn't find any external IP address!

http://localhost/8080 也无法使用。

谁能告诉我哪里出错了，或者我错过了正确运行Master所需的任何设置？

【问题讨论】：

你检查过/c/Spark/spark-1.6.1-bin-hadoop2.6/logs/spark--org.apache.spark.deploy.master.Master-1-Pavilion.out的内容吗？

@toniedzwiedz，这里是Spark Command: C:\Program Files\Java\jdk1.8.0_65\bin\java -cp C:/Spark/spark/conf\;C:/Spark/spark/lib/spark-assembly-1.6.1-hadoop2.6.0.jar;C:\Spark\spark\lib\datanucleus-api-jdo-3.2.6.jar;C:\Spark\spark\lib\datanucleus-core-3.2.10.jar;C:\Spark\spark\lib\datanucleus-rdbms-3.2.9.jar -Xms1g -Xmx1g org.apache.spark.deploy.master.Master --ip Pavilion --port 7077 --webui-port 8080 ========================================

【参考方案1】：

问题是这个脚本不是为在 Windows 机器上执行而设计的。请参考Official Spark Manual Note: The launch scripts do not currently support Windows 经验法则是只有以 .cmd 结尾的脚本才能在 Windows 上运行。而以.sh 结尾的脚本是为 Linux 和 Mac OS 设计的。虽然应该可以在 Windows 上手动启动 Spark Master，但最好只运行 local[*] 模式，除非您正在创建 Windows 机器集群。 local[*] 模式已经充分利用了本地机器的能力。