pyspark 无法启动

Posted 2023-04-15

【中文标题】pyspark 无法启动

【英文标题】：pyspark not able to start

【发布时间】：2018-09-07 10:09:10

【问题描述】：

我使用的是 Windows 8.1 操作系统。我安装了 apache spark，然后安装了 Java JDK。我在 windows 中使用 git bash。我在 git bash 的 .bash_profile 中有以下设置。

export SPARK_HOME="/c/tools/spark-2.3.1-bin-hadoop2.7" 
export PATH="$SPARK_HOME/bin:$PATH"  
export JAVA_HOME="/c/Program Files (x86)/Java/jdk1.8.0_181/"

当我尝试调用 pyspark 时，出现如下错误。

/c/tools/spark-2.3.1-bin-hadoop2.7/bin/pyspark：第 45 行：python： 找不到命令错误：无法找到或加载主类 org.apache.spark.launcher.Main

我尝试在路径“/c/tools/spark-2.3.1-bin-hadoop2.7/bin/”中运行spark-shell。仍然得到同样的错误。

请帮助我让 pyspark 在我的机器上运行。

【问题讨论】：

请检查是否设置了python路径。关注 [链接]***.com/questions/31665402/…

对我来说没有用。我添加了答案，终于为我工作了

【参考方案1】：

按照博客中的步骤，我终于能够让 pyspark 在 Windows 中运行

http://nishutayaltech.blogspot.com/2015/04/how-to-run-apache-spark-on-windows7-in.html

我不得不安装更多工具并设置环境变量，最后让它工作。