PySpark，Win10 - 系统找不到指定的路径

Posted 2023-04-15

【中文标题】PySpark，Win10 - 系统找不到指定的路径

【英文标题】：PySpark, Win10 - The system cannot find the path specified

【发布时间】：2018-10-09 17:04:25

【问题描述】：

我之前通过 pip 安装了 PySpark 作为 Python 包，我最近用干净的 Python 版本卸载了它并下载了独立版本。

在我的用户变量中，我创建了一个名称为：SPARK_HOME 的路径

值为：C:\spark-2.3.2-bin-hadoop2.7\bin

在路径下的系统变量中我做了一个条目：C:\spark-2.3.2-bin-hadoop2.7\bin

When I run pyspark

我也无法运行 spark-shell。有什么想法吗？

【问题讨论】：

首先，SPARK_HOME 应该没有 bin C:\spark-2.3.2-bin-hadoop2.7\ 你在系统变量中添加 \bin。您是否将 JDK 添加为 JAVA_HOME？如果是，您是否在 hadoop_env.cmd 中设置了 JAVA_HOME？

呵呵，从 SPARK_HOME 和 JAVA_HOME 中删除 bin 修复了它。谢谢！

【参考方案1】：

SPARK_HOME 应该没有 bin 文件夹。因此，

将SPARK_HOME 设置为C:\spark-2.3.2-bin-hadoop2.7\

【讨论】：

我保证，这花了一天一晚上的时间才弄清楚。从遇到问题的人数来看，Spark 和其他库创建者确实应该提供清晰的安装说明。

【参考方案2】：

Window 用户必须下载兼容的 winutils exe 版本并将其保存在 Spark 的 bin 文件夹中。

找到兼容的 Hadoop 发行版，下载并将其保存在您的 Spark 文件夹中。

例如下载“https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe”并将其保存在“C:\spark-2.3.2-bin-hadoop2.7\bin”中

可以在此链接中找到不同的 winutils 版本。 https://github.com/steveloughran/winutils

【讨论】：

解决方案的链接很好，但请确保您的答案提供更多详细信息

谢谢。按照您的建议进行了编辑。我不知道为什么有人反对它。对我和我的朋友来说，这是一个久经考验的真正解决方案。