Scrapy简介
Posted wt7018
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Scrapy简介相关的知识，希望对你有一定的参考价值。
一、架构图
二、流程
1、引擎从调度器中取出一个URL，用于抓取
2、引擎把URL封装成一个请求(start_requests) 传递给下载器
3、下载器把资源下载下来，并封装成Response
4、爬虫解析(parse) Response
5、解析出实体(yield Item)，交给pipelines中的process_item方法
6、解析出URL(yield Response)，则把URL交给调度器等待抓取
以上是关于Scrapy简介的主要内容，如果未能解决你的问题，请参考以下文章