无法在 Jupyter notebook-anaconda 中设置 spark home

Posted 2023-04-15

【中文标题】无法在 Jupyter notebook-anaconda 中设置 spark home

【英文标题】：Unable to set sparks home in Jupiter notebook- anaconda

【发布时间】：2020-06-08 07:49:20

【问题描述】：

我在 Anaconda 中使用 Jupiter Notebook。

我已经成功安装了 pyspark 和 findpyspark。

我现在使用代码：SPARK_HOME = C:\spark\spark-2.3.2-bin-hadoop2.7 设置火花回家。

但是，我得到了错误：

File "<ipython-input-27-2126598a4c18>", line 1
    SPARK_HOME  = C:\spark\spark-2.3.2-bin-hadoop2.7
                   ^
SyntaxError: invalid syntax

我该如何解决这个问题？

【参考方案1】：

您只需将 Spark_Home 指定为字符串

SPARK_HOME  = "C:\spark\spark-2.3.2-bin-hadoop2.7"

这解决了您在帖子中遇到的错误。对于下一个错误（您在评论中分享），它类似于：The SPARK_HOME env variable is set but Jupyter Notebook doesn't see it. (Windows)

【讨论】：

这样做之后，我还需要使用 findspark.init() 吗？

ValueError: 找不到 Spark，请确保 SPARK_HOME 环境已设置或 Spark 位于预期位置（例如，来自 homebrew 安装）。

所以第一个命令是解决你的第一个错误。第二个你需要检查你的文件系统和你的路径来找到你的 spark 文件的绝对路径。我更新了我的帖子，因为您的错误类似于旧帖子。