IPython Notebook 运行python Spark程序

Posted 2021-01-04 逗比青年

1.安装pip

因为centos7.0自带的python系统是2.7.5，并没有安装pip,需要先安装pip

$ wget https://bootstrap.pypa.io/get-pip.py
$ python get-pip.py

$ pip install numpy pandas scipy jupyter

　　

2.配置启动项

$ vim ./.bashrc

export PYSPARK_DRIVER_PYTHON=/usr/bin/ipython
export PYSPARK_PYTHON=/usr/bin/python

$ source ./.bashrc

　　

3.jupyter 无法远程访问

$ jupyter notebook --allow-root　　

其实这时候，local如果有browser的话，就可以输入访问了，但是没有，所以需要远程访问： http://ip:8888，发现访问不了

 

（一）配置远程访问jupyter

1）首先输入ipython生成秘钥

 

$ ipython
from notebook.auth import passwd
passwd()

　　

设定一个密码，会生成一个sha1的秘钥，如下图：

 

2）生成jupyter的config文件

$ jupyter notebook --generate-config

　　

这时候会生成配置文件，在 ~/.jupyter/jupyter_notebook_config.py

 

3）修改配置文件：~/.jupyter/jupyter_notebook_config.py

 

$vim ~/.jupyter/jupyter_notebook_config.py

　　

加入如下内容，其中sha1那一串秘钥是上面生成的那一串

 

c.NotebookApp.ip=‘*‘
c.NotebookApp.password = u‘sha1:f9030dd55bce:75fd7bbaba41be6ff5ac2e811b62354ab55b1f63‘
c.NotebookApp.open_browser = False
c.NotebookApp.port =8888

保存退出。

 

4）启动jupyter

 

$jupyter notebook --allow-root

　　

在远程电脑上，打开浏览器，输入：

 

http://your-server-ip:8888

 

需要输入密码，就是上面设置的那个密码，输入即可

 

4.启动

$ PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook --allow-root" pyspark # 其中--allow-root是因为root登录master