Scrapy 隐含 bug: 强制关闭爬虫后从 requests.queue 读取的已保存 request 数量可能有误
Posted my8100
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Scrapy 隐含 bug: 强制关闭爬虫后从 requests.queue 读取的已保存 request 数量可能有误相关的知识，希望对你有一定的参考价值。
已提交至 Scrapy issues：
The size of requests.queue may be wrong when resuming crawl from unclean shutdown. #3333
以上是关于Scrapy 隐含 bug: 强制关闭爬虫后从 requests.queue 读取的已保存 request 数量可能有误的主要内容，如果未能解决你的问题，请参考以下文章
解决 Scrapy-Redis 空跑问题，链接跑完后自动关闭爬虫
解决 Scrapy-Redis 空跑问题，链接跑完后自动关闭爬虫