如何使用 Jupyter Notebook (Anaconda3, Ubuntu) 运行 Spark

Posted 2023-04-15

【中文标题】如何使用 Jupyter Notebook (Anaconda3, Ubuntu) 运行 Spark

【英文标题】：How to run Spark with Jupyter Notebook (Anaconda3, Ubuntu)

【发布时间】：2017-03-17 05:03:22

【问题描述】：

我确实下载了 anaconda3、spark1.6.1、java、git 等...

我设置了这样的环境

$ nano .bashrc
export PATH="/home/moon/anaconda3/bin:$PATH"

export SCALA_HOME=/usr/local/src/scala/scala-2.12.1
export PATH=$SCALA_HOME/bin:$PATH

export SPARK_PATH=~/spark-1.6.1-bin-hadoop2.6
export PATH=$SPARK_PATH/bin:$PATH    

export ANACONDA_ROOT=/usr/home/moon/anaconda3
export PYSPARK_PYTHON=$ANACONDA_ROOT/bin/python3

export PYSPARK_DRIVER_PYTHON="jupyter"
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

$. .bashrc

$cd spark-1.6.1-bin-hadoop2.6
$bin/pyspark

然后我可以连接 jupyter notebook (python3)但我不能运行 spark ex) sc , sc.textFile

spark 和 jupyter 怎么集成

【问题讨论】：

github.com/apache/incubator-toree#install

【参考方案1】：

请在下面添加。

 PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook"    ./bin/pyspark

还请检查以下内容： Apache Spark: How to use pyspark with Python 3

我遇到了一些与 anaconda python 3 的兼容性问题，我切换到 anaconda python 2.7