scrapy架构介绍及几种反反爬
Posted lyq-biu
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了scrapy架构介绍及几种反反爬相关的知识，希望对你有一定的参考价值。
一.scrapy架构介绍
1.结构简图：
主要组成部分：Spider，Pipeline，Downloader，Scheduler，Scrapy Engine（）
2.结构详细图：
主要步骤：
以上是关于scrapy架构介绍及几种反反爬的主要内容，如果未能解决你的问题，请参考以下文章
0 scrapy架构介绍1 scrapy解析数据2 settings相关配置，提高爬取效率3 持久化方案 4 全站爬取cnblogs文章