python分布式爬虫是啥意思

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python分布式爬虫是啥意思相关的知识,希望对你有一定的参考价值。

一、分布式爬虫架构

在了解分布式爬虫架构之前,首先回顾一下Scrapy的架构,如下图所示。


Scrapy单机爬虫中有一个本地爬取队列Queue,这个队列是利用deque模块实现的。如果新的Request生成就会放到队列里面,随后Request被Scheduler调度。之后,Request交给Downloader执行爬取,简单的调度架构如下图所示。

如果两个Scheduler同时从队列里面取Request,每个Scheduler都有其对应的Downloader,那么在带宽足够、正常爬取且不考虑队列存取压力的情况下,爬取效率会有什么变化?没错,爬取效率会翻倍。

这样,Scheduler可以扩展多个,Downloader也可以扩展多个。而爬取队列Queue必须始终为一个,也就是所谓的共享爬取队列。这样才能保证Scheduer从队列里调度某个Request之后,其他Scheduler不会重复调度此Request,就可以做到多个Schduler同步爬取。这就是分布式爬虫的基本雏形,简单调度架构如下图所示。

我们需要做的就是在多台主机上同时运行爬虫任务协同爬取,而协同爬取的前提就是共享爬取队列。这样各台主机就不需要各自维护爬取队列,而是从共享爬取队列存取Request。但是各台主机还是有各自的Scheduler和Downloader,所以调度和下载功能分别完成。如果不考虑队列存取性能消耗,爬取效率还是会成倍提高。

二、维护爬取队列

那么这个队列用什么来维护?首先需要考虑的就是性能问题。我们自然想到的是基于内存存储的Redis,它支持多种数据结构,例如列表(List)、集合(Set)、有序集合(Sorted Set)等,存取的操作也非常简单。

Redis支持的这几种数据结构存储各有优点。

    列表有lpush()、lpop()、rpush()、rpop()方法,我们可以用它来实现先进先出式爬取队列,也可以实现先进后出栈式爬取队列。

    集合的元素是无序的且不重复的,这样我们可以非常方便地实现随机排序且不重复的爬取队列。

    有序集合带有分数表示,而Scrapy的Request也有优先级的控制,我们可以用它来实现带优先级调度的队列。

    我们需要根据具体爬虫的需求来灵活选择不同的队列。

    三、如何去重

    Scrapy有自动去重,它的去重使用了Python中的集合。这个集合记录了Scrapy中每个Request的指纹,这个指纹实际上就是Request的散列值。我们可以看看Scrapy的源代码,如下所示:


    import hashlib
    def request_fingerprint(request, include_headers=None):
    if include_headers:
    include_headers = tuple(to_bytes(h.lower())
    for h in sorted(include_headers))
    cache = _fingerprint_cache.setdefault(request, )
    if include_headers not in cache:
    fp = hashlib.sha1()
    fp.update(to_bytes(request.method))
    fp.update(to_bytes(canonicalize_url(request.url)))
    fp.update(request.body or b'')
    if include_headers:
    for hdr in include_headers:
    if hdr in request.headers:
    fp.update(hdr)
    for v in request.headers.getlist(hdr):
    fp.update(v)
    cache[include_headers] = fp.hexdigest()
    return cache[include_headers]

    request_fingerprint()就是计算Request指纹的方法,其方法内部使用的是hashlib的sha1()方法。计算的字段包括Request的Method、URL、Body、Headers这几部分内容,这里只要有一点不同,那么计算的结果就不同。计算得到的结果是加密后的字符串,也就是指纹。每个Request都有独有的指纹,指纹就是一个字符串,判定字符串是否重复比判定Request对象是否重复容易得多,所以指纹可以作为判定Request是否重复的依据。

    那么我们如何判定重复呢?Scrapy是这样实现的,如下所示:


    def __init__(self):
    self.fingerprints = set()

    def request_seen(self, request):
    fp = self.request_fingerprint(request)
    if fp in self.fingerprints:
    return True
    self.fingerprints.add(fp)

    在去重的类RFPDupeFilter中,有一个request_seen()方法,这个方法有一个参数request,它的作用就是检测该Request对象是否重复。这个方法调用request_fingerprint()获取该Request的指纹,检测这个指纹是否存在于fingerprints变量中,而fingerprints是一个集合,集合的元素都是不重复的。如果指纹存在,那么就返回True,说明该Request是重复的,否则这个指纹加入到集合中。如果下次还有相同的Request传递过来,指纹也是相同的,那么这时指纹就已经存在于集合中,Request对象就会直接判定为重复。这样去重的目的就实现了。

    Scrapy的去重过程就是,利用集合元素的不重复特性来实现Request的去重。

    对于分布式爬虫来说,我们肯定不能再用每个爬虫各自的集合来去重了。因为这样还是每个主机单独维护自己的集合,不能做到共享。多台主机如果生成了相同的Request,只能各自去重,各个主机之间就无法做到去重了。

    那么要实现去重,这个指纹集合也需要是共享的,Redis正好有集合的存储数据结构,我们可以利用Redis的集合作为指纹集合,那么这样去重集合也是利用Redis共享的。每台主机新生成Request之后,把该Request的指纹与集合比对,如果指纹已经存在,说明该Request是重复的,否则将Request的指纹加入到这个集合中即可。利用同样的原理不同的存储结构我们也实现了分布式Reqeust的去重。

    四、防止中断

    在Scrapy中,爬虫运行时的Request队列放在内存中。爬虫运行中断后,这个队列的空间就被释放,此队列就被销毁了。所以一旦爬虫运行中断,爬虫再次运行就相当于全新的爬取过程。

    要做到中断后继续爬取,我们可以将队列中的Request保存起来,下次爬取直接读取保存数据即可获取上次爬取的队列。我们在Scrapy中指定一个爬取队列的存储路径即可,这个路径使用JOB_DIR变量来标识,我们可以用如下命令来实现:


    scrapy crawl spider -s JOB_DIR=crawls/spider

    更加详细的使用方法可以参见官方文档,链接为:https://doc.scrapy.org/en/latest/topics/jobs.html

    在Scrapy中,我们实际是把爬取队列保存到本地,第二次爬取直接读取并恢复队列即可。那么在分布式架构中我们还用担心这个问题吗?不需要。因为爬取队列本身就是用数据库保存的,如果爬虫中断了,数据库中的Request依然是存在的,下次启动就会接着上次中断的地方继续爬取。

    所以,当Redis的队列为空时,爬虫会重新爬取;当Redis的队列不为空时,爬虫便会接着上次中断之处继续爬取。

    五、架构实现

    我们接下来就需要在程序中实现这个架构了。首先实现一个共享的爬取队列,还要实现去重的功能。另外,重写一个Scheduer的实现,使之可以从共享的爬取队列存取Request。

    幸运的是,已经有人实现了这些逻辑和架构,并发布成叫Scrapy-Redis的Python包。接下来,我们看看Scrapy-Redis的源码实现,以及它的详细工作原理

参考技术A 就是一群电脑去对付一台电脑。
举个例子,你用主机 C 去爬网站S,S发现你爬数据太快,认为你不是人在操作,于是把你 IP 封了,你不是很郁闷么?于是,分布式爬虫上场了,我用C1,C2,C3,…………N 台电脑一起向S 发起爬数据,每台领取一份任务,降低爬的频率,但由于 N 台是并行去爬,所以效率相当惊人,把他们爬回的数据进行拼装就 OK 了。
分布式是个好东西。
又如,主力若想拉升股价,必须资金量很大,如果资金在一台电脑上集中拉升的话,交易所就记录了你的 IP,日后ZJH就容易查到你。那么主力当然会用分布式电脑来拉,把资金分散到 N 台电脑上,并且分散到 N 个帐户上,每个帐户上的资金低于ZJH查你的红线。然后用分布式程序集中控制这 N 台电脑 N 个帐号的资金联动。这样他们看到的就是 N 台电脑上的 N 个韭菜,很难判断他们是不是一起行动的,只有主力的程序才知道他们是一起行动的。

ES是啥

是指Elastic search。

Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java语言开发的,并作为Apache许可条款下的开放源码发布,是一种流行的企业级搜索引擎。

Elasticsearch用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。官方客户端在Java、.NET(C#)、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr,也是基于Lucene。

相关信息:

Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。Elasticsearch是分布式的,这意味着索引可以被分成分片,每个分片可以有0个或多个副本。每个节点托管一个或多个分片,并充当协调器将操作委托给正确的分片。

再平衡和路由是自动完成的。相关数据通常存储在同一个索引中,该索引由一个或多个主分片和零个或多个复制分片组成。一旦创建了索引,就不能更改主分片的数量。

参考技术A ES版CPU就是常说的“Engineering Sample(工程样板)”,由于其不锁定倍频和外频,所以经常受到朝品爱好者的追捧。但很少有人知道ES版CPU的真正面目。ES版CPU在出售了一段时间后问题不断,享受高性价比的同时,也伴随着高频率的蓝屏、无故重启、程序错误等多种不可预知的故障,更令消费者头痛的是这种CPU是没法得到AMD官方的有效质保的。另有暴雪公司游戏ES。追问

是一个QQ群名称

本回答被提问者采纳

以上是关于python分布式爬虫是啥意思的主要内容,如果未能解决你的问题,请参考以下文章

Selenium是啥

python的爬虫是啥意思

Python爬虫教程-34-分布式爬虫介绍

Python3爬虫学习分布式爬虫第一步--Redis分布式爬虫初体验

python网络爬虫——分布式爬虫

python爬虫模拟登录是啥意思