无法在 mac os 中打开 pyspark

Posted 2023-04-15

【中文标题】无法在 mac os 中打开 pyspark

【英文标题】：Unable to open pyspark in mac os

【发布时间】：2017-08-11 13:08:48

【问题描述】：

我已经通过 pip 安装了 pyspark 但无法打开它。它显示以下错误。

Users/sonveer.narwaria/anaconda/bin/pyspark：第 24 行： /Users/sonveer.narwaria/anaconda/lib/python3.6/site-packages/pyspark/bin/load-spark-env.sh： 没有相应的文件和目录 /Users/sonveer.narwaria/anaconda/bin/pyspark：第 77 行： /Users/sonveer.narwaria//Users/sonveer.narwaria/anaconda/lib/python3.6/site-packages/pyspark/bin/spark-submit： 没有相应的文件和目录 /Users/sonveer.narwaria/anaconda/bin/pyspark：第 77 行：执行： /Users/sonveer.narwaria//Users/sonveer.narwaria/anaconda/lib/python3.6/site-packages/pyspark/bin/spark-submit： 无法执行：没有这样的文件或目录

【参考方案1】：

您应该按照here 的说明下载完整的 Spark 发行版。 PySpark 的 PyPi 安装（即通过 pip，就像您所做的那样）仅适用于连接现有的 Spark 集群；来自docs：

Spark 的 Python 打包并不打算取代所有其他用例。这个 Python 打包版本的 Spark 适用于与现有集群（无论是 Spark 独立、YARN 还是 Mesos）交互 - 但不包含设置您自己的独立 Spark 集群所需的工具。您可以从 Apache Spark 下载页面下载完整版 Spark。

注意：如果您将其与 Spark 独立集群一起使用，则必须 确保版本（包括次要版本）匹配，或者您可以 遇到奇怪的错误