scrapy爬虫框架之理解篇（个人理解）

Posted 2020-10-13 xpyue

 

提问： 为什么使用scrapy框架来写爬虫 ？

           在python爬虫中：requests  +  selenium  可以解决目前90%的爬虫需求，难道scrapy 是解决剩下的10%的吗？显然不是。scrapy框架是为了让我们的爬虫更强大、更高效。接下来我们一起学习一下它吧。

1.scrapy 的基础概念：

　　scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量代码，就能够快速的抓取到数据内容。Scrapy 使用了 Twisted[\'twɪstɪd](其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。

http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html 

2. scrapy 的工作流程：

　　　　之前我们所写爬虫的流程：

　　

 

 那么 scrapy是如何帮助我们抓取数据的呢？

scrapy框架的工作流程：1.首先Spiders（爬虫）将需要发送请求的url(requests)经ScrapyEngine（引擎）交给Scheduler（调度器）。

　　　　　　　　　　2.Scheduler（排序，入队）处理后，经ScrapyEngine，DownloaderMiddlewares(可选，主要有User_Agent, Proxy代理)交给Downloader。

　　　　　　　　　　3.Downloader向互联网发送请求，并接收下载响应（response）。将响应（response）经ScrapyEngine，SpiderMiddlewares(可选)交给Spiders。

　　　　　　　　　　4.Spiders处理response，提取数据并将数据经ScrapyEngine交给ItemPipeline保存（可以是本地，可以是数据库）。

                                       提取url重新经ScrapyEngine交给Scheduler进行下一个循环。直到无Url请求程序停止结束。