centos下安装色彩scrapy

Posted 我才是听雨轩

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了centos下安装色彩scrapy相关的知识,希望对你有一定的参考价值。

一、安装Python2.7.6

  1. 更新CentOS lib库文件

    yum -y update
  2. 安装开发工具包

    yum groupinstall -y development
  3. 安装扩展包

    yum install -y zlib-dev openssl-devel sqlite-devel bzip2-devel
  4. 下载Python2.7.6

    wget http://www.python.org/ftp/python/2.7.6/Python-2.7.6.tar.xz
  5. 解压Python2.7.6

    tar -xvf Python-2.7.6.tar.xz
  6. 进入Python2.7.6目录

    cd Python-2.7.6
  7. 编译安装Python2.7.6

    ./configure
    make && make altinstall

二、解决Yum不支持Python2.7的问题

  1. 将老的Python程序进行备份

    mv /usr/bin/python /usr/bin/python2.6.6
  2. 建立新的Python链接

    ln -s /usr/local/bin/python2.7 /usr/bin/python
  3. 修改/usr/bin/yum文件

    vi /usr/bin/yum

    将第一行的 #!/usr/bin/python 改为 #!/usr/bin/python2.6.6

    技术分享

三、安装setuptools 和 pip

  1. 下载setuptools

    wget --no-check-certificate https://pypi.python.org/packages/source/s/setuptools/setuptools-1.4.2.tar.gz
  2. 解压setuptools

    tar -xvf setuptools-1.4.2.tar.gz
  3. 进入setuptools目录

    cd setuptools-1.4.2
  4. 通过已安装的Python2.7.6安装setuptools

    python setup.py install
  5. 安装 pip

    easy_install pip
  6. curl https://raw.github.com/pypa/pip/master/contrib/get-pip.py | python2.7 -

 

四、安装libxslt-devel支持lxml

yum install libxslt-devel

五、安装Scrapy

pip install scrapy







以上是关于centos下安装色彩scrapy的主要内容,如果未能解决你的问题,请参考以下文章

Centos6.5x64 安装scrapy1.0.4成功

安装 CentOs 系统 及 Python 及 Scrapy 框架

Linux centos 6.8安装scrapy异常

scrapy主动退出爬虫的代码片段(python3)

scrapy按顺序启动多个爬虫代码片段(python3)

centos 7 安装SCrapy 总结