爬虫日记(85)：Scrapy的ExecutionEngine类

Posted 2021-06-16 caimouse

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了爬虫日记(85)：Scrapy的ExecutionEngine类相关的知识，希望对你有一定的参考价值。

前面可以看到一开始打开蜘蛛类有一次触发调度之外，还有下载数据返回之后进行一次调度。如果中间有调度没有准备好，或者队列满了，这样不会产生有新的下载，那么怎么样再次触发调度发生呢？这时候就要靠另一个备份方案，就是定时调度方案，它的建立如下图：

通过两个运行链都可以最终地调用_next_request函数，进入下载请求队列，把准备好的下载请求发送出去下载。

因此接着下来我们继续分析_next_request函数，它的代码如下：

第115行里传入的参数spider就是代码CallLaterOnce(s

以上是关于爬虫日记(85)：Scrapy的ExecutionEngine类的主要内容，如果未能解决你的问题，请参考以下文章