scarpy-redis运行爬虫后，redis数据里只有dupefilter，而没有requests
Posted lb809663396
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了scarpy-redis运行爬虫后，redis数据里只有dupefilter，而没有requests相关的知识，希望对你有一定的参考价值。
scarpy-redis运行爬虫后
在redis中并没有保存requests，只保存了dupefilter，ctrl+c停止后，才会在redis中保存requests
原因是因为 生成next_url太慢，即往redis push之后，立马被pop了，才导致redis 没有 requests的序列化，然后导致其他scrapy实例无法读取request继而无法同时进行数据抓取
解决：生成next_url的时候快点，从列表展示页抓，生成比较快
以上是关于scarpy-redis运行爬虫后，redis数据里只有dupefilter，而没有requests的主要内容，如果未能解决你的问题，请参考以下文章
解决 Scrapy-Redis 空跑问题，链接跑完后自动关闭爬虫