Python3安装Scrapy

Posted julygift

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python3安装Scrapy相关的知识,希望对你有一定的参考价值。

 Microsoft Visual C++ Build Tools

  最近项目在写爬虫,项目经理给了个Python Scrapy的爬虫项目,要求使用Java实现相关功能。于是乎在本地先后安装了Python3和Scrapy,在安装Scrapy时出现了个小插曲,现在总结如下:

  第一、安装Scrapy

  查看网上安装scrapy,网友基本就是告诉你使用命令: pip install scrapy

然而、不是很熟悉Python的时候,就会发现根本找不到pip命令,这里不是说在PTAH中配置了Python的环境变量就可以了,这是因为pip在python安装目录的Scripts文件夹中。如图:

技术分享图片

所以、这里还需要将Scripts加入环境变量PATH中,这样就可以直接使=使用命令行的方式安装Scrapy了。

技术分享图片

  当你设置好环境变量后,准备安装Scrapy时,你又会惊喜的发现安装过程报了个错误:

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

  第二、安装Wheel  

  这个错误是在安装Scrapy所需要的中间件Twisted时,所需要的编译工具,如果你老老实实的去下载 Microsoft Visual C++ Build Tools,你就会发现这个工具不是一般的大,而且据网友反映,安装后依然无法安装Scrapy;现在、教你用另一种方式安装:

1.执行命令:pip install wheel

2.手动下载:Twisted文件,网址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

  注意:这里你要下载和你本地的Python版本一致的Twisted文件;字符cp后为python的版本,即27表示Python2,7,36表示Python3.6,目前最新的稳定版是Python3,6

  技术分享图片

3.安装Twisted:pip install [你下载的Twisted文件在本地的路径],如:pip install E://Twisted...cp36....amd64.whl

4.安装Scrapy:pip install scrapy

  以上各步骤都执行成功后,即可创建Scrapy爬虫项目了。小伙伴、有木有很期待。

 

以上是关于Python3安装Scrapy的主要内容,如果未能解决你的问题,请参考以下文章

Python3安装Scrapy

python3.5 之Scrapy环境安装

Python3下安装Scrapy

[Python][Scrapy 框架] Python3 Scrapy的安装

Python3网络爬虫:Python3安装Scrapy

Python3安装scrapy框架步骤