Windows下安装Scrapy方法及常见安装问题总结——Scrapy安装教程

Posted 2021-02-03 dcpeng

这几天，很多朋友在群里问Scrapy安装的问题，其实问题方面都差不多，今天小编给大家整理一下Scrapy的安装教程，希望日后其他的小伙伴在安装的时候不再六神无主，具体的教程如下。

Scrapy是Python网络爬虫的一个框架，十分好用，深得大家的青睐，其工作原理，在在此就不赘述了。

 

 

1、正常我们在Python库的时候，只需要利用cmd命令打开命令行窗口，然后输入pip install 库，就可以正常安装了，但是在安装Scrapy的时候，输入pip install scrapy之后往往会碰到下图的问题。

 

 

2、这个问题的出现，是因为我们缺乏libxml2安装包。现在只要我们安装这个包之后，就可以顺利安装scrapy了。给大家安利一个福利，介绍给大家一个非常实用的Python包网站，这个网站很神奇，里边的Python包专门用于Windows下的安装的，如下图所示。

 

 

3、之后在该网站上查找lxml，也可以输入Ctrl+f进行查找，找到之后如下图所示。

 

 

4、点击“lxml”，找到lxml安装包，如下图所示。找到对应自己Python版本的lxml安装包，小编的电脑是64位的，而且Python版本是Python3.4，所以找到下图红色框框的安装包，点击即可进行下载。同理，其他的Python3.5、Python3.6、Python3.7的安装包根据自己的情况一一对应即可。

 

 

5、然后去下载的目录，将lxml进行安装即可，输入安装命令pip install lxml-4.2.1-cp34-cp34m-win_amd64.whl即可。

 

 

6、lxml-4.2.1-cp34-cp34m-win_amd64.whl环境安装完成之后，再重新输入pip install scrapy即可顺利安装了，不会再报错了，如下图所示。

 

 

7、输入pip list可以查看已经安装的scrapy包，如下图所示。

 

 

8、之后我们就可以正常使用scrapy了，可以创建scrapy项目等等。

 

 

9、还有一些小伙伴遇到的问题是这个：

raise distutils.errors.DistutilsPlatformError(err)

distutils.errors.DistutilsPlatformError: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": Download the Visual C++ Build Tools (standalone C++ compiler, libraries and tools)

----------------------------------------

Command "python setup.py egg_info" failed with error code 1

 

 

这个是因为本机缺乏visual C++的安装环境，此时只需要进入http://landinghub.visualstudio.com/visual-cpp-build-tools这个网站，下载对应电脑版本的visual C++环境，进行安装之后即可解决问题。

 

 

这个安装包比较大，等scrapy安装好之后再删除即可。

10、还有的小伙伴可能会遇到下面的错误提示“Twisted-18.7.0-cp34-cp34m-win_amd64.whl is not a supported wheel on this platform.”，表示该平台不支持这个安装包，如下图所示。

 

 

之前的lxml安装包不是直接安装就成功了吗？为何这个安装包会出现这个问题呢？此时，首先需要检查该安装包的Python版本和电脑位数是否和本机都对应上，如果确认没有问题，再继续往下看。

在这里小编给大家介绍一个小技巧，专门用来应对这样的问题的。进入到所下载的安装包，这里以Twisted-18.7.0-cp34-cp34m-win_amd64.whl安装包为例，进入到下载目录下，一般下载之后将其放到虚拟环境的site-packages文件夹下面，尔后将后缀.whl更改为.zip，将后缀.whl更改为.zip，将后缀.whl更改为.zip，重要的事情说三遍，有木有觉得很熟悉？对，它就是个压缩文件，现在将压缩包里边的内容全部解压到当前文件夹，如下图所示。

 

 

之后在虚拟环境下输入pip list命令查看安装包，可以看到Twisted安装包已经在里边了，如下图所示。第一个pip list命令的时候尚未解压Twisted安装包，此时并没有Twisted库；第二个pip list命令是在Twisted安装包解压之后执行的，可以看到Twisted库已经在里边了。

 

 

Twisted库安装好之后，再安装其他的库，如Scrapy、Pandas等就如鱼得水了。

这里列出了几个Scrapy安装过程中常见的问题及其解决方法，希望对大家日后安装Scrapy的时候有所帮助，可能每个人的平台和环境都不太一样，肯定会碰到其他的安装问题，欢迎大家一起学习交流~~