scrapy-redis
Posted justaman
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了scrapy-redis相关的知识，希望对你有一定的参考价值。
1.请求对象的持久化
2.去重指纹的永久化
所有请求对象、去重指纹均存储在redis中，而不是在内存中，断电/关机即消失，如果第一次请求未完成，第二次需要重新请求全部。
3.实现分布式
所有的服务器公用一个redis中的request对象
流程图：
在项目中settings.py中配置：
RedisPipeline：配置所请求的数据存储在redis中，
RFPDupeFilter：配置指纹存储在redis中，
Scheduler：配置调度器，所有request对象存储在redis中
- RedisPipeline
redis中数据以列表存储
- RFPDupeFilter
以上是关于scrapy-redis的主要内容，如果未能解决你的问题，请参考以下文章