scrapy框架的概念

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scrapy框架的概念相关的知识,希望对你有一定的参考价值。

使用Scrapy抓取一个网站一共需要四个步骤:

1. 创建一个Scrapy项目;

2. 定义Item容器;

3. 编写爬虫;

4. 存储内容。

 下图展现的是Scrapy的架构,包括组件及在系统中发生的数据流(图中绿色箭头)。

 

技术分享

 

下面对每个组件都做了简单介绍:

 

Scrapy Engine

Scrapy引擎是爬虫工作的核心,负责控制数据流在系统中所有组件中流动,并在相应动作发生时触发事件。

 

调度器(Scheduler)

调度器从引擎接受request并将他们入队,以便之后引擎请求他们时提供给引擎。

 

下载器(Downloader)

下载器负责获取页面数据并提供给引擎,而后提供给spider。

 

Spiders

Spider是Scrapy用户编写用于分析由下载器返回的response,并提取出item和额外跟进的URL的类。 Item Pipeline Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、验证及持久化(例如存取到数据库中)。

 

接下来是两个中间件,它们用于提供一个简便的机制,通过插入自定义代码来扩展Scrapy的功能。

 

下载器中间件(Downloader middlewares)

下载器中间件是在引擎及下载器之间的特定钩子(specific hook),处理Downloader传递给引擎的response。

 

Spider中间件(Spider middlewares)

Spider中间件是在引擎及Spider之间的特定钩子(specific hook),处理spider的输入(就是接收来自下载器的response)和输出(就是发送items给item pipeline以及发送requests给调度器)。

以上是关于scrapy框架的概念的主要内容,如果未能解决你的问题,请参考以下文章

python scrapy爬虫框架概念介绍(个人理解总结为一张图)

Python Scrapy框架

Scrapy框架初级篇

scrapy爬虫框架之理解篇(个人理解)

Scrapy框架基础应用和持久化存储

爬虫 --- 06. scrapy框架初始