Scrapy安装指南(windows)

Posted 2020-08-14 Masako

windows开发，难免遇到很多坑，比一般开发是艰苦得多。先不吐槽windows，我们直接看这个scrapy怎么安装。

首先，要有一份文档，比如我用这个：

　　http://scrapy-chs.readthedocs.io/zh_CN/0.24/index.html。

最好是根据自己的scrapy版本去找文档，百度一下google一下都行。

找到文档之后，文档中有安装指南，这个：

　　http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html#intro-install-platform-notes

教你装装python，装个pip，基本上没什么用，呵呵呵。

scrapy要说，是有许多依赖的，你的python装好之后，直接pip install scrapy，在windows多半报错，先看最常见的错误：

　　如果出现visual C++的字样，这个时候需要明白原因，是因为你的某个python包需要C++去编译，最简单你可以直接找到这个包，下载编译好的离线安装。你也可以直接下载安装VC，报错中会给个地址，注意VS版本。

　　1.缺少libxml2，或者说缺少lxml

　　这个时候，安装lxml：pip install lxml。

　　安装上了只能说你运气好，安装不起很正常，没关系，离线安装：https://pypi.python.org/pypi/lxml/3.6.0这个网址，找到自己对应的版本，平台一定要正确，不然也安装不上，确认一下自己的windows位数，和自己python的版本，多版本的时候一定确定自己是安装在哪个版本的python上的。

　　whl包的安装方法 pip install + 安装包全路径.whl

　　2.缺少pyOpenSSL

　　仍然是pip install安装，离线下载地址：

　　https://pypi.python.org/pypi/pyOpenSSL/16.1.0

　　3.缺少win32api

　　安装pywin32，下载地址：https://sourceforge.net/projects/pywin32/files/pywin32/

　　直接下载exe安装即可。

　　exe包的安装方法 easy_install + 安装包全路径.exe

以上步骤完成后，安装scrapy：pip install scrapy。如果超时，说明网络不行，推荐换个网速快的网，实在不行可以设置超时时间：

　　pip --default-timeout=100 install -U pip