Python3安装Scrapy

Posted 2020-11-07 julygift

 Microsoft Visual C++ Build Tools

　　最近项目在写爬虫，项目经理给了个Python Scrapy的爬虫项目，要求使用Java实现相关功能。于是乎在本地先后安装了Python3和Scrapy，在安装Scrapy时出现了个小插曲，现在总结如下：

　　第一、安装Scrapy

　　查看网上安装scrapy，网友基本就是告诉你使用命令： pip install scrapy

然而、不是很熟悉Python的时候，就会发现根本找不到pip命令，这里不是说在PTAH中配置了Python的环境变量就可以了，这是因为pip在python安装目录的Scripts文件夹中。如图：

所以、这里还需要将Scripts加入环境变量PATH中，这样就可以直接使=使用命令行的方式安装Scrapy了。

　　当你设置好环境变量后，准备安装Scrapy时，你又会惊喜的发现安装过程报了个错误：

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

　　第二、安装Wheel　　

　　这个错误是在安装Scrapy所需要的中间件Twisted时，所需要的编译工具，如果你老老实实的去下载 Microsoft Visual C++ Build Tools，你就会发现这个工具不是一般的大，而且据网友反映，安装后依然无法安装Scrapy；现在、教你用另一种方式安装：

1.执行命令：pip install wheel

2.手动下载：Twisted文件，网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

　　注意：这里你要下载和你本地的Python版本一致的Twisted文件；字符cp后为python的版本，即27表示Python2,7,36表示Python3.6，目前最新的稳定版是Python3,6

　　

3.安装Twisted：pip install [你下载的Twisted文件在本地的路径]，如：pip install E://Twisted...cp36....amd64.whl

4.安装Scrapy：pip install scrapy

　　以上各步骤都执行成功后，即可创建Scrapy爬虫项目了。小伙伴、有木有很期待。