三步将一个普通的scrapy爬虫变为分布式爬虫

Posted 2020-12-07 牛公的跑奔

要将一个scrapy项目变为一个scrapy.redis项目只需要修改下面三点就可以了：

1. 将爬虫类从scrapy.Spider 变成scrapy_redis.spiders.RedisSpider；或者从scripy.CrawlSpider变成scrapy_redis.spiders.RedisCrawlSpider。

    

    

2. 将爬虫的start_urls删掉。增加一个redis_key="xxx"。这个redis_key是为了以后再redis中控制爬虫启动的。爬虫的第一个url，就是redis中通过这个发送出去的。
3. 在配置文件中增加

 

 

运行爬虫：

1、在爬虫服务器上，进如爬虫文件所在路径，然后输入命令：scrapy runspider [爬虫名字]

2、在redis服务器上，推入一个开始的url链接（就是redis_key那里）：redis-cli lpush [redis_key] start_url

需要注意的是在1步骤中，scrapy runspider [爬虫名字]，其中[爬虫名字]不是name所指的，而是爬虫的py文件，如下图