在 Mac OS 上安装 Spark

Posted 2023-04-15

【中文标题】在 Mac OS 上安装 Spark

【英文标题】：Install Spark on Mac OS

【发布时间】：2018-10-12 03:56:38

【问题描述】：

尝试在 Mac 上安装 Spark 和相关程序，但在测试安装时收到错误消息。

/Users/somedirectory/apachespark/spark-2.3.0-bin-hadoop2.7/bin/pyspark /Users/somedirectory/apachespark/spark-2.3.0-bin-hadoop2.7/bin/spark-class：第 71 行：/Library/Java/JavaVirtualMachines/jdk1.8.0_162.jdk/Contents/Home//bin/java : 没有这样的文件或目录

来自我的 bash_profile 条目...

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_162.jdk/Contents/Home/

导出 SPARK_HOME=/Users/directory/apachespark/spark-2.3.0-bin-hadoop2.7

导出 SBT_HOME=/Users/directory/apachespark/sbt

导出 SCALA_HOME=/Users/directory/apachespark/scala-2.11.12

导出 PATH=$JAVA_HOME/bin:$SBT_HOME/bin:$SBT_HOME/lib:$SCALA_HOME/bin:$SCALA_HOME/lib:$PATH

导出 PATH=$JAVA_HOME/bin:$SPARK_HOME:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

导出 PYSPARK_PYTHON=python3

PATH="/Library/Frameworks/Python.framework/Versions/3.6/bin:$PATH" 导出路径

更正建议？谢谢。

【问题讨论】：

/Library/Java/JavaVirtualMachines/jdk1.8.0_162.jdk/Contents/Home//bin/java 存在吗？根据错误消息它没有。 JAVA_HOME 应该改为/Library/Java/JavaVirtualMachines/jdk1.8.0_162/jdk/Contents/Home//bin/java 吗？

你可以通过 brew install apache-spark 避免这一切

我尝试了 brew 方法，重新启动后一切正常。谢谢。

【参考方案1】：

如报错信息所示：

/Library/Java/JavaVirtualMachines/jdk1.8.0_162.jdk/Contents/Home//bin/java: No such file or directory

Java 可执行文件$JAVA_HOME/bin 的文件路径会生成一个额外的/，因为JAVA_HOME 中的尾随/：

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_162.jdk/Contents/Home/

删除JAVA_HOME 中的尾随/ 应该可以解决问题。更好的是，如下所示设置 JAVA_HOME 将自动指向 Mac OSX 上的活动 JDK 版本：

export JAVA_HOME=$(/usr/libexec/java_home)