Scrapy 框架的使用

Posted 2022-10-04 jeavy

Scrapy 框架的介绍

　　Scrapy 是一个基于Twisted的异步处理框架，是纯Python实现的爬虫框架，其架构清晰模块之间的耦合成都低，可扩展性极强，可以灵活完成各种需求。我们只需要定制开发几个模块就可以轻松实现一个爬虫。

1. 架构介绍

它可以分为如下几个部分。

• Engine　　引擎，处理整个系统的数据流处理，触发事务，是整个框架的核心。
• Item　　项目，它定义了爬取结果的数据结构，爬取的数据会被赋值成该Item对象。
• Scheduler 　　调度器，接受引擎发过来的请求并将其加入队列中，在引擎再次请求的时候将请求提供给引擎。
• Downloader 　　下载器，下载网页内容，并将网页内容返回给蜘蛛。
• Spider　　蜘蛛，其定义了爬取逻辑和网页的解析规则，它主要负责解析响应并生成提取结果和新的请求。
• Item Pipeline　　项目管道，负责处理由蜘蛛从网页抽取的项目，它主要任务是清洗、验证和储存数据。
• Downloader Middleware　　下载器中间件，位于引擎和下载器之间的钩子框架，主要处理引擎和下载器之间的请求及响应。
• Spider Middleware 　　蜘蛛中间件，位于引擎和蜘蛛之间的钩子框架，主要处理向蜘蛛输入的响应和输出的结果及新的请求。