scrapy-redis数据去重与分布式框架

Posted zwp-627

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scrapy-redis数据去重与分布式框架相关的知识,希望对你有一定的参考价值。

 

数据去重

  • 生成指纹:利用hashlib的sha1,对request的请求体、请求url、请求方法进行加密,返回一个40位长度的16进制的字符串,称为指纹
fp = hashlib.sha1()
fp.update(to_bytes(request.method))
fp.update(to_bytes(canonicalize_url(request.url)))
fp.update(request.body or b‘‘)
return fp.hexdigest()
  • 进队:
    1. 如果请求需要过滤,并且当前请求的指纹已经在指纹集合中存在了,就不能进入队列了
    2. 如果请求需要过滤,并且请求的指纹是一个新的指纹,进入队列
    3. 如果不需要过滤,直接进入队列
def enqueue_request(self, request):
    if not request.dont_filter and self.df.request_seen(request):
        self.df.log(request, self.spider)
        return False
    self.queue.push(request)
    return True

 

 

分布式爬虫

  • 类继承RedisSpider、RedisCrawlSpider
  • 使用redis_key,在redis数据库中存储start_urls的键名称

每台电脑从redis数据库中对应的redis_key名称中获取url,发起请求。

以上是关于scrapy-redis数据去重与分布式框架的主要内容,如果未能解决你的问题,请参考以下文章

crapy 去重与 scrapy_redis 去重与 布隆过滤器

scrapy-redis分布式爬虫

scrapy-redis

scrapy-redis使用以及剖析

scrapy-redis使用以及剖析

scrapy-redis使用以及剖析