win7中python3.4下安装scrapy爬虫框架（亲测可用）

Posted 2020-09-23

貌似最新的scrapy已经支持python3，但是错误挺多的，以下为在win7中的安装步骤：

1、首先需要安装Scrapy的依赖包，包括parsel, w3lib, cryptography, pyOpenSSL,twisted,lxml

其中，twisted和lxml的安装包可以在http://www.lfd.uci.edu/~gohlke/pythonlibs/下载对应的安装包(我的是win64，python34)

pip install Twisted-17.1.0-cp34-cp34m-win_amd64.whl安装，lxml同理。

2、pip命令直接安装parsel, w3lib, cryptography, pyOpenSSL。

3、安装过程中可能出现win32api报错，知道到https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/下载对应版本安装即可。

4、最后安装scrapy

    pip install scrapy

至此，安装完成！