如何用Jupyter Notebook打开Spark

Posted 2020-08-26

　　电脑已经装了anaconda python，然后下载了spark2.1.0。因为版本太新，所以网上和书上的一些内容已经不再适用。比如关于如何使用IPython和Jupyter，教程给出的方法是用如下语句打开Spark即可进入IPython或者IPython Notebook：

IPYTHON=1 ./bin/pyspark
IPYTHON_OPTS="notebook" ./bin/pyspark

　　然鹅运行以上语句后我得到的是：

Error in pyspark startup:
IPYTHON and IPYTHON_OPTS are removed in Spark 2.0+. Remove these from the environment and set PYSPARK_DRIVER_PYTHON and PYSPARK_DRIVER_PYTHON_OPTS instead.

　　所以使用Jupyter打开Spark的设置方法是：

1 export PYSPARK_DRIVER_PYTHON=jupyter
2 export PYSPARK_DRIVER_PYTHON_OPTS=‘notebook‘ pyspark

　　这样再打开Spark时就会自动使用Jupyter Notebook来打开Spark了。