Scrapy-redis 安装配置使用

Posted RongT

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Scrapy-redis 安装配置使用相关的知识,希望对你有一定的参考价值。

 

 

# 安装redis服务器端
sudo apt-get install redis-server

# 安装scrapy和scrapy-redis库
pip install scrapy
pip install scrapy-redis

 

 

# 终端1
$ redis-cli

# 终端2
$ scrapy runspider bludv.py

# 终端1
$ lpush bludv:start_urls https://www.bludv.tv

 

以上是关于Scrapy-redis 安装配置使用的主要内容,如果未能解决你的问题,请参考以下文章

关于在使用scrapy-redis分布式踩过的那些坑:

scrapy-redis源代码分析

scrapy-redis组件

scrapy 如何链接有密码的redis scrapy-redis 设置redis 密码 scrapy-redis如何为redis配置密码

redis的安装以及python scrapy-redis的使用

基于 Scrapy-redis 的分布式爬虫详细设计