scrapy-redis 的项目中遇到redis报错的解决方案

Posted 彩印网

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scrapy-redis 的项目中遇到redis报错的解决方案相关的知识,希望对你有一定的参考价值。

报错信息大致如下: 

redis.exceptions.ResponseError: WRONGTYPE Operation against a key holding the wrong kind of value

解决方案:

是发现项目的settings.py文件中的

SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderStack"

改为

SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"

主要是受到如下这篇文章中:

  https://segmentfault.com/a/1190000014716549

的如下这段话的启发修改的,修改后的确就没有报错了,问题解决。

 

以上是关于scrapy-redis 的项目中遇到redis报错的解决方案的主要内容,如果未能解决你的问题,请参考以下文章

redis的安装以及python scrapy-redis的使用

Scrapy-redis 组件

scrapy-redis

scrapy 加入redis去重之后出现了如下报错,为啥

实战scrapy-redis + webdriver 爬取航空网站

scrapy专题:scrapy-redis 框架分析