Scrapy改成Scrapy-Redis

Posted 2021-02-07 liubosong

1. 增加去重容器类配置,
DUPEFILTER_CLASS = “scrapy_redis.dupefilter.RFPDupeFilter”

2. 增加调度配置,
SCHEDULER = “scrapy_redis.scheduler.Scheduler”

3. 配置调度器持久化, 爬虫结束, 要不要清空Redis中请求队列和去重指纹的set。如果True, 就表示要持久化存储, 否则清空数据
SCHEDULER_PERSIST = True

ITEM_PIPELINES = { 
# 把爬虫爬取的数据存储到Redis数据库中 
‘scrapy_redis.pipelines.RedisPipeline’: 400, 
}