scrapy_redis使用介绍

Posted 2021-01-15 寻寻觅觅

scrapy_redis是一个基于redis的scrapy组件，通过它可以快速实现简单的分布式爬虫程序，该组件主要提供三大功能：

（1）dupefilter——URL去重规则（被调度器使用）

（2）scheduler——调度器

（3）pipeline——数据持久化

一、安装redis

去官网下载redis并安装到电脑上

二、安装scrapy_redis组件

打开终端输入：pip install scrapy-redis  即可 （os/linux）

组件默认被安装在相应的Python文件夹的site-packages里面。如/usr/local/lib/python3.7/site-packages/scrapy_redis

三、scrapy_redis功能详解

（一）URL去重

1、源码  /usr/local/lib/python3.7/site-packages/scrapy_redis/dupefilter.py

 

setting.py中的配置信息：

# redis配置
REDIS_HOST = "127.0.0.1"
REDIS_PORT = 6379
REDIS_PARAMS = {}
REDIS_ENCODING = "utf-8"

DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
DUPEFILTER_KEY = "dupefilter:%(timestamp)s"

 

2、重写dupefilter

可以根据自己的需求自定制dupefilter

在spiders的同级目录新建文件dupefilter.py，写入代码：

"""
重写dupefilter
"""
from scrapy_redis.dupefilter import RFPDupeFilter
from scrapy_redis.connection import get_redis_from_settings


class MyDupeFilter(RFPDupeFilter):
    @classmethod
    def from_settings(cls, settings):
        server = get_redis_from_settings(settings)
        key = "my_scrapy_2_dupfilter"  # 重写key
        debug = settings.getbool(\'DUPEFILTER_DEBUG\')
        return cls(server, key=key, debug=debug)

在settings.py中进行相关配置：

# redis配置
REDIS_HOST = "127.0.0.1"   # 主机
REDIS_PORT = 6379  # 端口号
REDIS_PARAMS = {}  # 连接参数
REDIS_ENCODING = "utf-8"  # 编码规则
#配置自己的dupefilter路径
DUPEFILTER_CLASS = "my_scrapy_2.dupefilter.MyDupeFilter"

 

（二）调度器

1、广度优先和深度优先

(1）栈——后进先出——广度优先——LifoQueue（列表）

(2) 队列——先进先出——深度优先——FifoQueue（列表）

(3) 优先级集合——PriorityQueue（有序集合）

2、在settings.py中：

# redis配置
REDIS_HOST = "127.0.0.1"
REDIS_PORT = 6379
REDIS_PARAMS = {}
REDIS_ENCODING = "utf-8"

# 去重规则
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

# 调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_QUEUE_CLASS = \'scrapy_redis.queue.PriorityQueue\'  # 默认使用优先级队列（默认），其他：PriorityQueue（有序集合），FifoQueue（列表）、LifoQueue（列表）
SCHEDULER_QUEUE_KEY = \'%(spider)s:requests\'  # 调度器中请求存放在redis中的key  chouti:requests
SCHEDULER_SERIALIZER = "scrapy_redis.picklecompat"  # 对保存到redis中的数据进行序列化，默认使用pickle
SCHEDULER_PERSIST = True  # 是否在关闭时候保留原来的调度器和去重记录，True=保留，False=清空
SCHEDULER_FLUSH_ON_START = True  # 是否在开始之前清空 调度器和去重记录，True=清空，False=不清空
# SCHEDULER_IDLE_BEFORE_CLOSE = 10  # 去调度器中获取数据时，如果为空，最多等待时间（最后没数据，未获取到）。
SCHEDULER_DUPEFILTER_KEY = \'%(spider)s:dupefilter\'  # 去重规则，在redis中保存时对应的key
SCHEDULER_DUPEFILTER_CLASS = \'scrapy_redis.dupefilter.RFPDupeFilter\'  # 去重规则对应处理的类

DEPTH_PRIORITY = -1  # 如果是使用优先级集合（PriorityQueue）就用做该配置参数  DEPTH_PRIORITY可以设为-1或者1 

（三）数据持久化

1、源码

以爬取抽屉新热榜的新闻标题与连接为例：

爬虫 chouti.py：

# -*- coding: utf-8 -*-
"""
爬取抽屉新热榜的新闻标题以及url 并保存
"""
import scrapy
from scrapy.http import Request
from ..items import MyScrapy3Item


class ChoutiSpider(scrapy.Spider):
    name = \'chouti\'
    allowed_domains = [\'chouti.com\']
    start_urls = [\'http://chouti.com/\']

    def parse(self, response):
        # print(response, response.request.priority, response.meta.get(\'depth\'))
        items = response.xpath("//div[@id=\'content-list\']/div[@class=\'item\']")
        for item in items:
            title = item.xpath(".//div[@class=\'part1\']/a/text()").extract_first().strip()  # 标题
            href = item.xpath(".//div[@class=\'part1\']/a/@href").extract_first().strip()  # 连接
            yield MyScrapy3Item(title=title, href=href)  # yield一个item对象
        # 翻页
        page_list = response.xpath(\'//*[@id="dig_lcpage"]//a/@href\').extract()
        for url in page_list:
            url = "https://dig.chouti.com" + url
            yield Request(url=url, callback=self.parse)

items.py:

import scrapy


class MyScrapy3Item(scrapy.Item):
    title = scrapy.Field()
    href = scrapy.Field()

settings.py中做相关的配置：

ITEM_PIPELINES = {
    "scrapy_redis.pipelines.RedisPipeline": 300,  # 设置使用scrapy_redis的持久化类
}

# -----------其他配置----------------------

DEPTH_LIMIT = 2  # 爬取深度


# redis配置 (必须的）
REDIS_HOST = "127.0.0.1"
REDIS_PORT = 6379
REDIS_PARAMS = {}
REDIS_ENCODING = "utf-8"

# 去重规则
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

# 调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_QUEUE_CLASS = \'scrapy_redis.queue.FifoQueue\'  # 默认使用优先级队列（默认），其他：PriorityQueue（有序集合），FifoQueue（列表）、LifoQueue（列表）
SCHEDULER_QUEUE_KEY = \'%(spider)s:requests\'  # 调度器中请求存放在redis中的key  chouti:requests
SCHEDULER_SERIALIZER = "scrapy_redis.picklecompat"  # 对保存到redis中的数据进行序列化，默认使用pickle
SCHEDULER_PERSIST = True  # 是否在关闭时候保留原来的调度器和去重记录，True=保留，False=清空
SCHEDULER_FLUSH_ON_START = True  # 是否在开始之前清空 调度器和去重记录，True=清空，False=不清空
# SCHEDULER_IDLE_BEFORE_CLOSE = 10  # 去调度器中获取数据时，如果为空，最多等待时间（最后没数据，未获取到）
SCHEDULER_DUPEFILTER_KEY = \'%(spider)s:dupefilter\'  # 去重规则，在redis中保存时对应的key
SCHEDULER_DUPEFILTER_CLASS = \'scrapy_redis.dupefilter.RFPDupeFilter\'  # 去重规则对应处理的类

在项目根目录新建文件start_chouti.py用于运行爬虫（也可以直接在终端输命令来运行）：

from scrapy.cmdline import execute

if __name__ == "__main__":
    execute(["scrapy", "crawl", "chouti", "--nolog"])

可以新建一个py文件用于查看保存在Redis中的数据：

# 3种方式查看数据

import redis

conn = redis.Redis(host="127.0.0.1", port=6379)

# conn.flushall()  # 清空Redis

print(conn.keys())  # 查看所有key  [b\'chouti:dupefilter\', b\'chouti:items\']

# 1、获取指定范围的数据
# res = conn.lrange(\'chouti:items\', 0, 3)  # 获取持久化的数据 取3条
# print(res)
"""
结果：

[b\'{"title": "\\\\u3010\\\\u56fe\\\\u96c6\\\\u30112018\\\\u5e74\\\\u5ea6\\\\u5929\\\\u6587\\\\u6444\\\\u5f71\\\\u5e08\\\\u5927\\\\u8d5b\\\\u83b7\\\\u5956\\\\u4f5c\\\\u54c1\\\\u516c\\\\u5e03", 
"href": "https://mp.weixin.qq.com/s/eiWj7ky53xEDoMRFXC1EGg"}\', 

b\'{"title": "\\\\u3010\\\\u201c\\\\u4eba\\\\u76f4\\\\u5230\\\\u5165\\\\u571f\\\\u4e3a\\\\u5b89\\\\u90a3\\\\u4e00\\\\u5929\\\\uff0c\\\\u90fd\\\\u5728\\\\u8d70\\\\u53f0\\\\u9636\\\\u201d \\\\u3011\\\\u674e\\\\u548f\\\\u5728\\\\u63a5\\\\u53d7\\\\u91c7\\\\u8bbf\\\\u65f6\\\\u66fe\\\\u8fd9\\\\u6837\\\\u5f62\\\\u5bb9\\\\u81ea\\\\u5df1\\\\u7684\\\\u4eba\\\\u751f\\\\uff1a\\\\u201c\\\\u4eba\\\\u76f4\\\\u5230\\\\u5165\\\\u571f\\\\u4e3a\\\\u5b89\\\\u90a3\\\\u4e00\\\\u5929\\\\uff0c\\\\u90fd\\\\u5728\\\\u8d70\\\\u53f0\\\\u9636\\\\u3002\\\\u8ddf\\\\u767b\\\\u9ec4\\\\u5c71\\\\u4e00\\\\u6837\\\\uff0c\\\\u767b\\\\u7684\\\\u65f6\\\\u5019\\\\u4f60\\\\u4e0d\\\\u89c9\\\\u5f97\\\\u6709\\\\u4e91\\\\uff0c\\\\u5230\\\\u4e00\\\\u5b9a\\\\u9ad8\\\\u5ea6\\\\u7684\\\\u65f6\\\\u5019\\\\uff0c\\\\u65c1\\\\u8fb9\\\\u6709\\\\u4eba\\\\u63d0\\\\u9192\\\\u4f60\\\\u56de\\\\u5934\\\\u770b\\\\u4e00\\\\u4e0b\\\\uff0c\\\\u4e91\\\\u5c31\\\\u5728\\\\u773c\\\\u524d\\\\u3002\\\\u201d", "href": "https://mp.weixin.qq.com/s/erLgWmL1GhpyWqwOTIlRvQ"}\', b\'{"title": "\\\\u3010\\\\u6e38\\\\u620f\\\\u673a\\\\u5236
\\\\u6e17\\\\u900f\\\\u5e76\\\\u6e10\\\\u6e10\\\\u5851\\\\u9020\\\\u4e86\\\\u73b0\\\\u5b9e\\\\u4e16\\\\u754c\\\\uff0c\\\\u4f60\\\\u662f\\\\u5426\\\\u4e5f\\\\u4e00\\\\u6837\\\\u8ba4\\\\u4e3a\\\\u7406\\\\u6240\\\\u5f53\\\\u7136\\\\uff1f\\\\u3011\\\\u5728\\\\u667a\\\\u80fd\\\\u624b\\\\u673a\\\\u666e\\\\u53ca\\\\u4ee5\\\\u540e\\\\uff0c\\\\u79fb\\\\u52a8\\\\u6280\\\\u672f\\\\u80fd\\\\u591f\\\\u4e0e\\\\u73b0\\\\u5b9e\\\\u4e16\\\\u754c\\\\u53d1\\\\u751f\\\\u8d8a\\\\u6765\\\\u8d8a\\\\u591a\\\\u7684\\\\u4ea4\\\\u4e92\\\\uff0c\\\\u56e0\\\\u6b64\\\\u6e38\\\\u620f\\\\u5316\\\\u7684\\\\u5c1d\\\\u8bd5\\\\u5e76\\\\u6ca1\\\\u6709\\\\u51cf\\\\u5c11\\\\u53cd\\\\u800c\\\\u589e\\\\u591a\\\\u4e86\\\\u3002\\\\u6709\\\\u6bcf\\\\u5929\\\\u8bb0\\\\u5f55\\\\u4f60\\\\u7684\\\\u6b65\\\\u884c\\\\u8ddd\\\\u79bb\\\\uff0c\\\\u7136\\\\u540e\\\\u9881\\\\u53d1\\\\u5956\\\\u7ae0\\\\u7684\\\\u3002\\\\u6709\\\\u8bb0\\\\u5f55\\\\u4f60\\\\u7684\\\\u4e60\\\\u60ef\\\\uff0c\\\\u5e76\\\\u53ef\\\\u4ee5\\\\u5efa\\\\u8bbe\\\\u4e00\\\\u5ea7\\\\u57ce\\\\u5e02\\\\u7684\\\\u3002", 
"href": "http://www.qdaily.com/articles/57753.html"}\', 

b\'{"title": "\\\\u3010\\\\u53c8\\\\u5931\\\\u4e00\\\\u57ce\\\\uff01\\\\u9ed8\\\\u514b\\\\u5c14\\\\u7684\\\\u201c\\\\u9ec4\\\\u91d1\\\\u914d\\\\u89d2\\\\u201d\\\\u5728\\\\u9ed1\\\\u68ee\\\\u5dde\\\\u906d\\\\u9047\\\\u60e8\\\\u8d25\\\\u3011\\\\u4eca\\\\u5e74\\\\u4e09\\\\u6708\\\\u8270\\\\u96be\\\\u5b8c\\\\u6210\\\\u7b2c\\\\u56db\\\\u6b21\\\\u7ec4\\\\u9601\\\\u7684\\\\u5fb7\\\\u56fd\\\\u603b\\\\u7406\\\\u9ed8\\\\u514b\\\\u5c14\\\\uff0c\\\\u572810\\\\u6708\\\\u5fb7\\\\u56fd\\\\u4e24\\\\u4e2a\\\\u5173\\\\u952e\\\\u5dde\\\\u2014\\\\u2014\\\\u5df4\\\\u4f10\\\\u5229\\\\u4e9a\\\\u5dde\\\\u548c\\\\u9ed1\\\\u68ee\\\\u5dde\\\\u7684\\\\u9009\\\\u4e3e\\\\u4e2d\\\\uff0c\\\\u63a5\\\\u8fde\\\\u906d\\\\u9047\\\\u5386\\\\u53f2\\\\u6027\\\\u60e8\\\\u8d25\\\\u3002\\\\u9ed8\\\\u514b\\\\u5c14\\\\u7684\\\\u201c\\\\u9ec4\\\\u91d1\\\\u914d\\\\u89d2\\\\u201d\\\\u2014\\\\u2014\\\\u793e\\\\u6c11\\\\u515a\\\\uff08SPD\\\\uff09\\\\u5728\\\\u4e24\\\\u6b21\\\\u9009\\\\u4e3e\\\\u4e2d\\\\u7684\\\\u5f97\\\\u7968\\\\u7387\\\\u5448\\\\u73b0\\\\u81ea\\\\u7531\\\\u843d\\\\u4f53\\\\u72b6\\\\u6001\\\\u3002", 
"href": "https://wallstreetcn.com/articles/3428455"}\']

"""

# 2、一条一条的将数据取走

# item = conn.lpop(\'chouti:items\') 
# print(item)

"""
结果：

b\'{"title": "\\\\u3010\\\\u56fe\\\\u96c6\\\\u30112018\\\\u5e74\\\\u5ea6\\\\u5929\\\\u6587\\\\u6444\\\\u5f71\\\\u5e08\\\\u5927\\\\u8d5b\\\\u83b7\\\\u5956\\\\u4f5c\\\\u54c1\\\\u516c\\\\u5e03", 
"href": "https://mp.weixin.qq.com/s/eiWj7ky53xEDoMRFXC1EGg"}\'
"""

# 3、做成一个生产者-消费者模型
while True:
    item = conn.blpop(\'chouti:items\')  # 一条一条的将数据取走  如果没有了就阻塞住
    print(item)

 

通过使用scrapy_redis的持久化数据功能，可以将生产数据和获取数据作为两件互不影响的事情并发的运行。

 

2、如果还想要将数据存入其他地方，可以继承和重写scrapy_redis的pipelines

 

四、起始URL的定制

让爬虫像永动机一样一直处于备战状态，如果没有请求就处于等待状态，当有新的URL进来时就开始爬取数据。

在爬虫文件中：

"""
爬取抽屉新热榜的新闻标题以及url 并保存
让爬虫一直爬数据，如果没有就处于等待状态
"""
from scrapy_redis.spiders import RedisSpider


class ChoutiSpider(RedisSpider):  # 继承RedisSpider
    name = \'chouti\'
    allowed_domains = [\'chouti.com\']

    def parse(self, response):
        print(response)

配置文件中：

# 起始url
REDIS_START_URLS_AS_SET = True  # True:在Redis里面按照集合去存，False:按照列表来存储
START_URLS_KEY = \'%(name)s:start_urls\'  # 在源码中默认的起始URL的key为 chouti:start_urls

再写一个py文件来设置url：

import redis

conn = redis.Redis(host="127.0.0.1", port=6379)

# conn.flushall()  # 清空Redis

print(conn.keys())  # 查看所有key  [b\'chouti:start_url\']

item = conn.sadd("chouti:start_url", "https://dig.chouti.com/r/pic/hot/1")  # 设置起始url
print(item)