去重配置和调度器配置代码优先级

Posted 2020-12-11 xiongfanyong

去重的配置：
    DUPEFILTER_KEY = ‘dupefilter:%(timestamp)s‘
    DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
    
调度器配置：
    SCHEDULER = "scrapy_redis.scheduler.Scheduler"
        SCHEDULER_QUEUE_CLASS = ‘scrapy_redis.queue.PriorityQueue‘          # 默认使用优先级队列（默认），其他：PriorityQueue（有序集合），FifoQueue（列表）、LifoQueue（列表）
        SCHEDULER_QUEUE_KEY = ‘%(spider)s:requests‘                         # 调度器中请求存放在redis中的key
        SCHEDULER_SERIALIZER = "scrapy_redis.picklecompat"                  # 对保存到redis中的数据进行序列化，默认使用pickle
        SCHEDULER_PERSIST = True                                            # 是否在关闭时候保留原来的调度器和去重记录，True=保留，False=清空
        SCHEDULER_FLUSH_ON_START = True                                     # 是否在开始之前清空 调度器和去重记录，True=清空，False=不清空
        SCHEDULER_IDLE_BEFORE_CLOSE = 10                                    # 去调度器中获取数据时，如果为空，最多等待时间（最后没数据，未获取到）。
        # 这个就和上面那个就没有优先级之区别，下面如果有就用下面的
        SCHEDULER_DUPEFILTER_KEY = ‘%(spider)s:dupefilter‘                  # 去重规则，在redis中保存时对应的key
        
        # 如果上面去重配置没有去重配置就用下面这个，有的话就用上面那个（上面那个优先级更高）
        SCHEDULER_DUPEFILTER_CLASS = ‘scrapy_redis.dupefilter.RFPDupeFilter‘# 去重规则对应处理的类