卡住安装 PySpark

Posted 2023-04-15

【中文标题】卡住安装 PySpark

【英文标题】：Stuck installing PySpark

【发布时间】：2020-10-02 14:02:10

【问题描述】：

我一直在尝试在我的 MacBook 上安装 PySpark，但是当我完成安装时收到以下错误消息：

Traceback (most recent call last):
  File "/Users/vasquezk26/opt/anaconda3/bin/jupyter", line 11, in <module>
    sys.exit(main())
  File "/Users/vasquezk26/opt/anaconda3/lib/python3.8/site-packages/jupyter_core/command.py", line 247, in main
    command = _jupyter_abspath(subcommand)
  File "/Users/vasquezk26/opt/anaconda3/lib/python3.8/site-packages/jupyter_core/command.py", line 133, in _jupyter_abspath
    raise Exception(

我安装了 PySpark、findspark 和 anaconda3。

有人可以帮我解决这个问题吗？

【问题讨论】：

你是如何尝试安装 PySpark 的？通过使用pip install pyspark，我可以轻松地将它安装在 linux 机器上。

我使用的是 pip install。

看起来您在最有趣的部分截断了错误消息...您能否在收到的异常消息中添加以下行？并请添加您正在使用的版本的详细信息（Python 版本 [我假设是 3.8，但请明确写出来]，Spark 版本...）

fwiw，你应该在 jupyter 之外运行 pip 命令

【参考方案1】：

正如this answer 中所报告的那样，PySpark 不支持 Python 3.8（除非您使用的 Spark 3.0 似乎可以解决这个问题）。

我不确定您收到的错误消息是否是因为这个原因，但我在默认使用 Python 3.8 的 Ubuntu 20.04 上安装它时也遇到了问题。

我的建议与该答案中报告的建议相同：尝试使用以前版本的 Python（3.6 应该这样做），或者此时尝试使用看起来与 Python 3.8 兼容的 Spark 3.0 版本。