爬虫日记(88)：Scrapy的Downloader类
Posted caimouse
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了爬虫日记(88)：Scrapy的Downloader类相关的知识，希望对你有一定的参考价值。
接着下来，我们来分析Downloader类的初始化过程，以及相关的数据结构，这样才能明白它具体做了些什么事情。
第69行定义了类Downloader类。
第71行定义保存在请求字典里的键，比如request.meta[self.DOWNLOAD_SLOT]。
第73行定义构造函数，传入爬虫类的管理类对象crawler。
第74行获得设置参数settings。
第75行获得信号发送对象。
第76行定义当前下载对象集合。
第77行定义当前下载活动对象的集合
以上是关于爬虫日记(88)：Scrapy的Downloader类的主要内容，如果未能解决你的问题，请参考以下文章