爬虫日记(85)：Scrapy的ExecutionEngine类

Posted 2021-06-25 caimouse

接着下来我们来分析spider_is_idle函数，这个函数用来判断蜘蛛类是否处于空闲状态：

第189行判断下载回应处理器是否空闲，如果不是空闲状态直接可以判断蜘蛛类为非空闲状态；反之就不行了，因为即使下载回应是空闲的，但是正在发送请求中。

第193行判断下载器是否为活动当中，如果是活动当中说明蜘蛛类也不是空闲状态。

第197行判断引擎里请求生成器是否为空，如果非空说明还有请求需要下载，说明蜘蛛类也为非空闲状态。

第201行调度器里的队列是否还有数据，如果有数据也是非空闲状态。

这个函数根据这四个条件来判断当前蜘蛛类是否为空闲状态，如果是空闲状态，并且在初始化时设置可以允许空闲状态之下删除蜘蛛类并退出引擎运行。