Scrapy爬虫架构安装过程

Posted 2020-06-17

水平有限，慢慢成长中。

环境：

win 8.1

python 2.7.11

官方的相关的指南，相对有些简单：

http://scrapy-chs.readthedocs.org/zh_CN/0.24/intro/install.html#intro-install

注：红色字体为命令。

过程：

1 安装下载python2.7

www.python.org（注意安装的时候选择将安装目录加入到系统路径中）

2 安装依赖插件

大于2.7.9的python2都带有pip，2.7.11的pip默认版本是7.1.2，pip所依赖的东西也都安装好了，比较简单。

在CMD里面输入pip --version，可以查看pip的版本。

可以执行python -m pip install --upgrade pip更新一下pip。

从 http://sourceforge.net/projects/pywin32/安装pywin32，确认下载符合您系统(win32或者amd64) 和python的版本，默认会是32位的。

如果下载了一个版本32/64提示找不到python的安装目录，可以尝试换另一个版本。

下载后得到一个可执行程序。

3 通过pip安装Scrapy

pip install Scrapy

安装完成后，在命令行CMD里面输入Scrapy，成功则进入Scrapy程序。

运行Scrapy的结果：

可能遇到的问题：
1 提示ASCII codec can‘t decode.....
这是一个编码之间的错误。

解决方法：在python安装目录里面找到Lib/mimetypes.py  编辑器打开在代码开头的import下面写入如下代码（注意后两句的缩进）：
if sys.getdefaultencoding()!=‘gbk‘:
reload(sys)
sys.setdefaultencoding(‘gbk‘)
2 安装中失败，最后一句有“Unable to find vcvarsall.bat”或者“VC90”字眼的错误
主要是几个辅助程序，如Twisted，需要编译C文件导致的

解决方法：到这个地方下载相应文件安装即可，本人电脑安装的是VC2013，安装过后没有再报错
https://www.microsoft.com/en-us/download/details.aspx?id=44266

本文出自 “missing” 博客，请务必保留此出处http://xiao3c.blog.51cto.com/10586791/1746949