爬虫日记(92)：Scrapy的下载结果回应分析

Posted 2021-08-14 caimouse

前面分析了HTTP协议发起请求的过程，这个过程是比较复杂的，因为要处理的东西比较多，不但要处理代理的问题，还需要处理协议的数据，以及设置回调的过程。这么多东西放在一起，肯定是比较难理解的。如果一遍看不懂，就要多看几遍了。接着下来，就是当从服务器返回结果时，又是怎么样来处理的呢，我们现在还不清楚是怎么样的一个过程，我们需要带着这个问题来去看代码，就可以找到这个结果。

为了理解返回结果的回调过程，需要先来看一下下面这个例子：

#爬虫日记-蔡军生（qq:9073204)
#https://mysoft.blog.csdn.net/
#2021-07-15
 
from twisted.internet import defer, reactor

d = defer.Deferred()
print(\'d.called:\', d.called)

def add(v):
    print(v)

def test(v):
    print(\'test\')
    d1 = defer.Deferred()
    reactor.callLater(5, d1.callback,3)
    return d1

d.addCallback(add)
d.addCallback(test)
d.addCallback(add)

d.callback(1)
print(\'d.called:\', d.called,\' d.result:\', d.result)

reactor.cal