Ubuntu下配置Pyspider环境

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Ubuntu下配置Pyspider环境相关的知识,希望对你有一定的参考价值。

Ubuntu 14.04.4 LTS

1.ubuntu 系统自带Python 所以不用安装Python 

注:安装前先更新下软件源 命令 :sudo apt-get update 

2.开始安装pip

命令:sudo apt-get install python-pip

安装成功后升级下pip 确保pip为最新版本

命令:python -m pip install -U pip

3.安装Pyspider环境依赖

命令:sudo apt-get install python-dev

   sudo apt-get install python-distribute

   sudo apt-get install libcurl4-openssl-dev

   sudo apt-get install libxml2-dev

   sudo apt-get install libxslt1-dev

   sudo apt-get install python-lxml

4.环境依赖搭建好直接运行命令:pip install pyspider 

技术分享

5.安装phantomjs 这里可以选着性安装看自己的需求来安装 命令为:sudo apt-get install phantomjs

6.安装完毕后一定要在 root权限下运行Pyspider 命令为:sudo pyspider all 

注:如果报如下错误,升级下six 是版本过低的问题,命令为:pip install -U six 

技术分享

7.打开浏览器

如果是本地配置的环境输入:http://localhost:5000

如果是云服务上配置输入:http://IP:5000

以上是关于Ubuntu下配置Pyspider环境的主要内容,如果未能解决你的问题,请参考以下文章

Pyspider安装使用

Pyspider安装使用

pyspider 在ubuntu上安装失败怎么搞?

说说我安装pyspider遇到的那些坑

Windows部署pyspider指南

搭建PySpider爬虫服务