centos下安装色彩scrapy

Posted 2020-09-03 我才是听雨轩

一、安装Python2.7.6

1. 更新CentOS lib库文件

   yum -y update

2. 安装开发工具包
   

   yum groupinstall -y development

3. 安装扩展包
   

   yum install -y zlib-dev openssl-devel sqlite-devel bzip2-devel

4. 下载Python2.7.6
   

   wget http://www.python.org/ftp/python/2.7.6/Python-2.7.6.tar.xz

5. 解压Python2.7.6
   

   tar -xvf Python-2.7.6.tar.xz

6. 进入Python2.7.6目录
   

   cd Python-2.7.6

7. 编译安装Python2.7.6
   

   ./configure

   make && make altinstall

二、解决Yum不支持Python2.7的问题

1. 将老的Python程序进行备份

   mv /usr/bin/python /usr/bin/python2.6.6

2. 建立新的Python链接

   ln -s /usr/local/bin/python2.7 /usr/bin/python

3. 修改/usr/bin/yum文件

   vi /usr/bin/yum

   将第一行的 #!/usr/bin/python 改为 #!/usr/bin/python2.6.6

   

三、安装setuptools 和 pip

1. 下载setuptools

   wget --no-check-certificate https://pypi.python.org/packages/source/s/setuptools/setuptools-1.4.2.tar.gz

2. 解压setuptools

   tar -xvf setuptools-1.4.2.tar.gz

3. 进入setuptools目录

   cd setuptools-1.4.2

4. 通过已安装的Python2.7.6安装setuptools
   

   python setup.py install

5. 安装 pip

   easy_install pip

6. curl https://raw.github.com/pypa/pip/master/contrib/get-pip.py | python2.7 -

 

四、安装libxslt-devel支持lxml

yum install libxslt-devel

五、安装Scrapy

pip install scrapy