无法为 pyspark OSX 启动 Jupyter Notebook：IPYTHON 和 IPYTHON_OPTS 在 Spark 2.0+ 中被删除

Posted 2023-04-15

【中文标题】无法为 pyspark OSX 启动 Jupyter Notebook：IPYTHON 和 IPYTHON_OPTS 在 Spark 2.0+ 中被删除

【英文标题】：Unable to Launch Jupyter Notebook for pyspark OSX: IPYTHON and IPYTHON_OPTS are removed in Spark 2.0+

【发布时间】：2017-10-16 07:48:35

【问题描述】：

我已经下载了：spark-2.2.0-bin-hadoop2.7

在我的~/.bash_profile 中，我有以下内容：

export PATH="/Users/spandan.chakraborty/anaconda/bin:$PATH"

export SPARK_PATH=~/spark-2.2.0-bin-hadoop2.7

export PYSPARK_DRIVER_PYTHON='jupyter'

export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

alias snote='$SPARK_PATH/bin/pyspark --master local[2]'

但是当我尝试使用命令别名启动 Jupyter 笔记本时：snote 我收到以下错误：

pyspark 启动出错：

IPYTHON 和 IPYTHON_OPTS 在 Spark 2.0+ 中被移除。将这些从 环境并设置 PYSPARK_DRIVER_PYTHON 和 改为 PYSPARK_DRIVER_PYTHON_OPTS。

我提到了与Starting Ipython with Spark 2中发布的类似问题

但无济于事。

【参考方案1】：

这对我有用，（我在我的 MAC 上运行）

PYSPARK_DRIVER_PYTHON=ipython PYSPAK_DRIVER_PYTHON_OPTS="notebook" /Users/abhishekdutta/Downloads/Spark/spark-2.2.0-bin-hadoop2.7/bin/pyspark

【参考方案2】：

以下已解决问题：

export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'