scrapy在ubuntu上安装总结
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了scrapy在ubuntu上安装总结相关的知识，希望对你有一定的参考价值。
此文档是本人学习时使用的，采用一个实例作为引导进行安装测试。
实例下载地址如下：
https://github.com/sans-serif/scrapy-german-news#introduction
解压之后为：scrapy-german-news-master
修改requirements.txt 删除psycopg2==2.6.1
其中requirements.txt内容如下：
********************************************************************
attrs==15.2.0
cffi==1.5.2
cryptography==1.2.3
cssselect==0.9.1
enum34==1.1.2
idna==2.0
ipaddress==1.0.16
lxml==3.5.0
psycopg2==2.6.1
pyasn1==0.1.9
pyasn1-modules==0.0.8
pycparser==2.14
pyOpenSSL==0.15.1
queuelib==1.4.2
Scrapy==1.0.5
service-identity==16.0.0
six==1.10.0
Twisted==15.5.0
w3lib==1.13.0
zope.interface==4.1.3
********************************************************************
按理只需此文件即可，scrapy-german-news-master只是测试工程。
具体安装步骤如下：
第一步：
安装pip: sudo apt-get install python-pip
第二步：安装依赖
sudo apt-get install libffi-dev
sudo apt-get install python-dev
sudo apt-get install libxml2-dev
sudo apt-get install libxslt-dev
第三步：
准备好requirements.txt文件。
sudo pip install -r requirements.txt
第四步：安装postgresql
sudo apt-get install postgresql
sudo apt-get install python-psycopg2
sudo apt-get install libpq-dev
sudo pip install psycopg2==2.6.1
安装完成
测试运行，看是否安装成功：
进入目录scrapy-german-news-master 运行 scrapy crawl faz
如果能看到开始抓取数据，则认为配置成功
如安装过程中出现如下错误，解决方案：
（1）ImportError: No module named pkg_resources 解决方法：
sudo apt-get install --reinstall python-pkg-resources
（2）pkg_resources.DistributionNotFound: setuptools>=11.3 解决方法：
sudo pip install -U distribute
（3）pip install psycopg2 错误，解决如下：
sudo apt-get install postgresql
sudo apt-get install python-psycopg2
sudo apt-get install libpq-dev
（4）c/_cffi_backend.c:2:20: 致命错误： Python.h：没有那个文件或目录， 解决如下：
sudo apt-get install python-dev
（5）src/lxml/includes/etree_defs.h:14:31: 致命错误： libxml/xmlversion.h：没有那个文件或目录，解决如下：
apt-get install libxml2-dev libxslt-dev
（6）关于这个libffi，错误，解决如下：
sudo apt-get install libffi-dev
(7) build/temp.linux-i686-2.7/_openssl.c:431:25: fatal error: openssl/aes.h: No such file or directory, 解决如下：
sudo apt-get install libssl-dev
备注：以上测试工程采用的是postgresql数据库，也可以采用mysql
以上是关于scrapy在ubuntu上安装总结的主要内容，如果未能解决你的问题，请参考以下文章