PySpark shell 命令不产生任何输出

Posted 2023-04-15

【中文标题】PySpark shell 命令不产生任何输出

【英文标题】：PySpark shell command produces no output

【发布时间】：2021-03-16 08:42:07

【问题描述】：

在我的机器（Windows 10 64 位、Anaconda 4.9.2、Java 1.8.0_281）上重新安装 Spark 二进制文件时，我遇到了以下问题。 从 Powershell 运行 pyspark 会产生无输出，只是一个空白的新行。如果我运行 spark-shell，也会发生完全相同的事情。

我下载了不同的二进制版本，但它们都给了我完全相同的行为。我检查了各种 SPARK_HOME、JAVA_HOME 等环境变量，它们似乎都设置正确。

有趣的是，我对 Scala 二进制文件的行为完全相同。

我也尝试过 pip install pyspark 并在 Python 中创建 spark 上下文，但出现错误

异常：Java 网关进程在发送驱动程序之前退出 端口号

正如我所提到的，JAVA_HOME 已正确配置为指向我的 Java 文件夹（名称中不包含空格...）。

有人遇到过这样的问题吗？

【参考方案1】：

您的问题是由 spark 和 Java 配置引起的，您认为它配置得很好，但事实并非如此，因此请使用下面的函数并在您的工作空间中使用 yhiwr 值更改 spark 和 Java 主目录。

【讨论】：

您好，我可以看到 spark 正在工作，但我也可以看到您不在 Windows 10 上（提示：您的文件夹路径以某种方式泄露了它）。正如我所提到的，我的问题已经在 Shell 级别。我曾尝试过您在此处建议的类似解决方案，但要仔细检查我是否实施了您的解决方案，特别注意指向正确的文件夹。它不工作，对不起。

我邀请您阅读我对这个问题的回答，使用 windows 和 spark ***.com/questions/66466236/…

谢谢，我已经这样做了。相信我，我已经在互联网上搜索了很多以寻找答案......

这很奇怪，因为这是一个众所周知的问题！好吧，我真希望你能找到你的问题的答案。