PySpark 未从 Windows 命令提示符启动

Posted 2023-04-15

【中文标题】PySpark 未从 Windows 命令提示符启动

【英文标题】：PySpark is not starting from Windows Command Prompt

【发布时间】：2019-08-17 19:32:42

【问题描述】：

我正在尝试从 windows cmd 启动 pyspark。但到目前为止还没有运气。我收到如下所示的错误消息。

我几乎经历了 *** 和网络搜索的每个角落，但无法解决这个问题。

到目前为止，我已按照以下步骤操作：

在系统变量中设置 JAVA_HOME、SPARK_HOME 和 HADOOP_HOME。

如下所示更新 PATH 变量。

我已经处理了所有与“空间”相关的问题。尽管如此，我仍然无法从命令提示符启动 spark-shell 或 pyspark。

我使用的是 Windows 10 家庭版。

我错过了什么吗？

注意：我已经安装了 Java、Scala 和 Python，并且在命令提示符下它们运行良好。

【问题讨论】：

请不要在您的问题中使用图片。您的问题的提示在这里The system cannot find the path specified。 pyspark 是一个脚本。在执行此脚本时，该脚本正在尝试执行程序。要执行的这一行有错误。这个错误的提示是\Microsoft was unexpected at this time.。调试脚本pyspark。您会在其中找到一条带有 Microsoft 的行，该行有一个错误，您必须更正。通常解决方案是在路径周围加上引号，因为 Windows 路径中通常包含空格。

【参考方案1】：

您是否启用了对 Hive 的默认暂存目录的访问权限。确保目录 C:\tmp\hive 存在；如果它不存在，则创建它。 接下来，您需要授予它访问 winutils.exe 的权限。导航回您放置此 .exe 文件的位置，然后运行权限命令

cd c:\hadoop\bin
winutils.exe chmod -R 777 C:\tmp\hive

完成此操作后，再次尝试启动 PySpark！

【讨论】：

我在您发帖后尝试了此选项。我又遇到了同样的问题。

其他需要注意的事项：env 变量值中的空格和括号，如下所示 -> C:\Program Files (x86)\...尝试双引号这些字符串！