ScrapyScrapyRedis使用
Posted fairlyharmony
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了ScrapyScrapyRedis使用相关的知识，希望对你有一定的参考价值。
Scrapy的爬虫添加redis支持的时，会出现的坑：
- 在Scrapy中request对象在传递时，是引用传递，即在一处修改了request，那么在其他地方也会改变；而换成redis后，这个会变为值传递；原因？request对象是从redis数据库中反序列化过来的；
- 关于禁用duplacte filter; 在scrapy的原始爬虫中，设置一个变量即可；但在scrapy redis中，需要自己重新定义一个返回值为false的类，否则会报错，查看详细的报错原因可得；
这段时间使用python的感想
- python对于简单的问题处理，确实很方便，但真正用起来后，会有不少知识需要学习，并不是一个python简明教程可以搞定的；也许是知识不足，python还并不稳定，比如说，python解释器直接崩溃？
以上是关于ScrapyScrapyRedis使用的主要内容，如果未能解决你的问题，请参考以下文章