Python爬虫——Scrapy框架安装

Posted 2021-01-04 UnikFox

在编写python爬虫时，我们用requests和Selenium等库便可完成大多数的需求，但当数据量过大或者对爬取速度有一定要求时，使用框架来编写的优势也就得以体现。在框架帮助下，不仅程序架构会清晰许多，而且爬取效率也会增加，所以爬虫框架是编写爬虫的一种不错的选择。

对于python爬虫框架，目前较为热的是Scrapy，其是一个专门爬取web结构性数据的应用框架。Scrapy是一个强大的框架，所依赖的库也较多，比如有lxml，pyOpenSSL和Twisted等，这些库在不同的平台下要求也不一样，虽然如此，但实际上安装还是较简单的，But有时安装过程中error却不少，下面就介绍安装方法及错误处理办法。

笔者环境：Win10 + python3.6.5

安装方法

虽然前面提到过Scrapy依赖的库较多，但安装时可以直接使用pip命令进行安装，同时一些依赖的库也会自动安装：

pip install Scrapy

验证安装

安装之后，在命令行直接输入scrapy，若输出如下类似信息则说明安装成功

错误处理（部分，在此列出笔者安装过程中遇到的错误）

①error: Microsoft Visual C++ 14.0 is required

这个error很明显，按提示安装Microsoft Visual C++ 就行了，笔者后在官网上下载并安装Visual Studio 2017得以解决此问题

②UnicodeDecodeError:’utf-8’ codec can’t decode byte 0xce in posiyion 98: invalid continuation byte

这一错误是编码问题，开始我也是一脸茫然，查阅资料后发现了不少的解决办法，其实错误原因很简单，因为windows中编码格式为‘gbk’,所以安装中’utf-8’不行（错误提示也说明了不能编码），那这要怎么解决呢？

首先，根据错误流确定出错文件位置：C:\\Users\\Littl\\AppData\\Local\\Programs\\Python\\Python36\\Lib\\site-packages\\pip\\compat，打开文件__init__.py，找到73行附近，将’utf-8’全部改为’gb2312’,保存再次安装即可

以上为笔者安装过程中遇到的问题，在排错时也发现其实对于不少不明觉厉的错误，慢慢理解错误提示和流都可以很好地解决，如果还有其他问题的话可以根据错误提示查阅下相关网上资料，也欢迎留言学习交流。