爬虫日记(88)：Scrapy的Downloader类

Posted 2021-08-06 caimouse

接着下来我们来分析下载的过程以及数据返回之后的处理，在这个过程里要小心地安排处理的步骤，否则会比较容易出错。

在这里按这个流程图来处理，详细的代码如下：

第160行定义了下载函数，传入是slot对象、请求对象、蜘蛛类对象。

第164行创建一个延时对象，这个延时对象执行的是self.handlers.download_request函数，它会把请求的种类进行分类，如果是HTTP就调用HTTP类，如果是文件，就调用文件下载协议。