如何在 Windows 的虚拟环境中让 pyspark 在 Jupyter Notebook 中工作？

Posted 2023-04-15

【中文标题】如何在 Windows 的虚拟环境中让 pyspark 在 Jupyter Notebook 中工作？

【英文标题】：How do I get pyspark working in Jupyter Notebook in a virtual environment on Windows?

【发布时间】：2020-12-03 16:11:51

【问题描述】：

我收到可怕的“异常：Java 网关进程在发送其端口号之前退出”错误，但我已经按照我能找到的所有内容进行操作，但它仍然无法正常工作。最糟糕的是，我发誓这个设置上周奏效了，但不知何故不再奏效了。

我可以从命令行和虚拟环境之外（我正在使用 Pipenv）在虚拟环境中完美地运行 pyspark，所以它一定与 Jupyter Notebook 有关。有没有人在 Windows 上解决了这个问题，可以帮助我？

【参考方案1】：

在你的 python 脚本中设置 JAVA_HOME 环境变量：

os.environ['JAVA_HOME'] = '/path/to/your/java/exe/'

如果这不起作用，请尝试设置 PATH：

os.environ["PATH"] = os.environ["JAVA_HOME"] + "/bin:" + os.environ["PATH"]

【讨论】：

我的 Java 环境变量都配置正确，遗憾的是，它一定是别的东西。谢谢。

【参考方案2】：

我从here 中找到了解决办法。我的 JAVA、SPARK_HOME 和 HADOOP_HOME 环境变量配置正确，但我添加了

PYSPARK_DRIVER_PYTHON = jupyter PYSPARK_DRIVER_PYTHON_OPTS = 笔记本

它现在正在工作。