怎么在32位windows系统上搭建爬虫框架scrapy？

Posted 2020-08-15 大斗神204

禁止转载：

　　自学python，然后搭建爬虫框架scrapy。费了我一上午的心血。终于搭建成功，以防以后忘记搭建流程，特此撰写此贴，开写

***************************************************************************************************************

首先安装python,我安装的是python2.7.12，安装在F:\\python2.7.12,资源自行下载。由于在安装python的时候，会自动安装pip这个python管理工具，不要管pip的安装.你只要一步步安装就可以了。

 

接下来就是在cmd中能运行python，所以要进行环境变量的配置：

在path路径中加上：

　　";F:\\python2.7.12;F:\\python2.7.12\\Scripts\\"

这是我的path路径：C:\\ProgramData\\Oracle\\Java\\javapath;

%SystemRoot%\\system32;

%SystemRoot%;

%SystemRoot%\\System32\\Wbem;

%SYSTEMROOT%\\System32\\WindowsPowerShell\\v1.0\\;

%JAVA_HOME%\\bin;

%CATALINA_HOME%\\lib;

E:\\mysql-5.6.24-win32\\bin;

F:\\mongodb2.6.9\\bin\\;

F:\\python2.7.12;

F:\\python2.7.12\\Scripts\\（一定要配置好Scripts）

 

可以根据自己的安装目录进行配置，不要盲目效仿。配置好以后，打开cmd窗口,输入python，然后就可以获得python的版本号，说明安装成功

那么怎么知道python管理工具pip是否装好，可i以在cmd中输入pip,可以运行说明成功，这一部分可以参考网上很多教程

*********************************************************************************************************

接下来就是爬虫框架scrapy的安装：

1、安装setuptools

打开，cmd窗口，输入pip检查pip是否安装成功，成功后，然后输入：

pip install setuptools

观察cmd窗口,如果出现Successfully installed setuptools说明安装成功。

2、安装lxml

本来以为输入下面这个命令，就能顺利安装成功但是出现了问题：

pip install lxml

这一步，耗费了我一个多小时，安装出现了问题，如：

 fatal error: \'libxml/xmlversion.h\' file not found

在网上各种找原因，有大神是说没安装libxml2-devel and libxslt-devel，和没有安装 libxml2和 libxslt文件。其实报错原因中也说明了没有安装好 libxml2

各种解决方案，但是找了很久，试了很多种方法，最终我就参考了

http://coding.derkeiler.com/Archive/Python/comp.lang.python/2012-11/msg00520.html　　 　　  

http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml（很多python依赖的库资源下载）

http://jingyan.baidu.com/article/cbcede07177b8702f40b4df9.html

最后解决了问题，解决步骤如下：

　　1）、首先安装wheel，确定安装成功：

pip install wheel

　　2)、下载依赖库，可以在http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml中下载

• lxml-3.6.4-cp27-cp27m-win32.whl（python2.7版本,适用于windows32位系统）
• lxml-3.6.4-cp27-cp27m-win_amd64.whl（python2.7版本,适用于windows64位系统）

　　然后，把下载好的依赖文件放在python的安装包中，我的是放在F：\\python2.7.12中

　　3)、开始安装lxml

pip install F:\\python2.7.12\\lxml-3.6.4-cp27-cp27m-win32.whl

　　然后就安装成功了

3、安装zope.interface

pip install zope.interface

这一步没有遇到问题

4、安装Twisted

安装Twisted出现了问题:参考文档python2.7安装Twisted报Microsoft Visual C++9.0 required然后解决了

pip install Twisted

5、安装pyOpenSSL

 

pip install pyOpenSSL

 

6、安装win32py

这一部卡住了，原来http://www.cnblogs.com/pang1567/p/4168768.html这个帖子，没有win32py这个文件，其实是安装pypiwin32

pip install pypiwin32

 

7、安装Scrapy

　　pip install Scrapy

终于到了激动人心的时候了！安装了那么多小部件之后终于轮到主角登场。然后就显示安装成功了

直接在cmd中输入Scrapy回车即可。大功告成了啊。so happy

　　

 

 

参考贴：

http://coding.derkeiler.com/Archive/Python/comp.lang.python/2012-11/msg00520.html

http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

http://jingyan.baidu.com/article/cbcede07177b8702f40b4df9.html

http://www.cnblogs.com/pang1567/p/4168768.html

http://stackoverflow.com/questions/26669972/install-pywin32-with-pip-in-windows-7-does-not-work-in-python-3-4-2

python2.7安装Twisted报Microsoft Visual C++9.0 required