设置了SPARK_HOME env变量，但Jupyter Notebook没有看到它。 （视窗）

Posted 2021-04-28

我在Windows 10上。我试图让Spark与Jupyter笔记本一起运行并与Python 3.5一起运行。我安装了预构建版本的Spark并设置了SPARK_HOME环境变量。我安装了findspark并运行代码：

import findspark
findspark.init()

我收到一个Value错误：

ValueError：找不到Spark，确保设置了SPARK_HOME env或Spark位于预期位置（例如来自自制软件安装）。

但是设置了SPARK_HOME变量。 Here是一个截图，显示了我系统中的环境变量列表。

有没有人遇到过这个问题或者知道如何解决这个问题？我只发现了一个旧的讨论，其中有人将SPARK_HOME设置到错误的文件夹但我不认为这是我的情况。

答案

我遇到了同样的问题，并通过安装“vagrant”和“virtual box”解决了这个问题。 （注意，虽然我使用Mac OS和Python 2.7.11）

看看本教程，这是针对哈佛CS109课程：https://github.com/cs109/2015lab8/blob/master/installing_vagrant.pdf

在终端上“vagrant reload”之后，我能够无误地运行我的代码。注意附加图像中显示的命令“os.getcwd”的结果之间的差异。

另一答案

我有同样的问题，浪费了很多时间。我找到了两个解决方案

有两种解决方案

1. 将下载的spark文件夹复制到C目录中的某个位置，并给出如下链接 import findspark findspark.init('C:/spark')
2. 使用findspark的功能自动查找spark文件夹 import findspark findspark.find()

另一答案

环境变量仅在系统重启后才会更新。它在重新启动系统后有效。

另一答案

在conda环境中使用pip install pyspark findspark安装spark时遇到了同样的问题。

解决方案是这样做：

export /Users/pete/miniconda3/envs/cenv3/lib/python3.6/site-packages/pyspark/
jupyter notebook

您必须在上面的命令中用cenv3替换conda环境的名称。