爬虫日记(91)：Scrapy的ScrapyAgent类

Posted 2021-08-14 caimouse

从前面的HTTP11DownloadHandler类分析可知，它是调用ScrapyAgent类来处理具体的HTTP或HTTPS的协议来下载网页数据。如下调用过程：

 

因此我们需要来分析ScrapyAgent类，才明白它是怎么样来下载HTTP或HTTPS协议的数据，以及整个的实现过程，同时对于想使用Twisted的HTTP的功能也是有帮助的，因为它演示了怎么样调用Twisted的功能，实现了数据成功之后处理，以及失败的处理过程。