Scrapy框架--分布式爬虫

Posted sxy-blog

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Scrapy框架--分布式爬虫相关的知识,希望对你有一定的参考价值。

分布式爬虫
- 概念:我们需要搭建一个分布式的机群,让其对一组资源进行分布联合爬取。
- 作用:提升爬取数据的效率

- 如何实现分布式?
  - 安装一个scrapy-redis的组件
爬取到的数据自动存放在redis中
  - 原生的scarapy是不可以实现分布式爬虫,必须要让scrapy结合着scrapy-redis组件一起实现分布式爬虫。
  - 为什么原生的scrapy不可以实现分布式?
    - 调度器不可以被分布式机群共享
    - 管道不可以被分布式机群共享
- scrapy-redis组件作用:
  - 可以给原生的scrapy框架提供可以被共享的管道和调度器
- 实现流程
  - 创建一个工程
  - 创建一个基于CrawlSpider的爬虫文件
  - 修改当前的爬虫文件:
    - 导包:from scrapy_redis.spiders import RedisCrawlSpider
    - 将start_urls和allowed_domains进行注释
    - 添加一个新属性:redis_key = ‘sun‘ 可以被共享的调度器队列的名称
    - 编写数据解析相关的操作
    - 将当前爬虫类的父类修改成RedisCrawlSpider
  - 修改配置文件settings
    - 指定使用可以被共享的管道:
      ITEM_PIPELINES = {
      ‘scrapy_redis.pipelines.RedisPipeline‘: 400
      }
  - 指定调度器:
    # 增加了一个去重容器类的配置, 作用使用Redis的set集合来存储请求的指纹数据, 从而实现请求去重的持久化
    DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
    # 使用scrapy-redis组件自己的调度器
    SCHEDULER = "scrapy_redis.scheduler.Scheduler"
    # 配置调度器是否要持久化, 也就是当爬虫结束了, 要不要清空Redis中请求队列和去重指纹的set。如果是True, 就表示要持久化存储, 就不清空数据, 否则清空数据
    SCHEDULER_PERSIST = True
  - 指定redis服务器:
    REDIS_HOST = ‘ip‘
    REDIS_PORT = ‘port‘

- redis相关操作配置:
  - 配置redis的配置文件:
    - linux或者mac:redis.conf
    - windows:redis.windows.conf
    - 代开配置文件修改:
      - 将bind 127.0.0.1进行删除
      - 关闭保护模式:protected-mode yes改为no
  - 结合着配置文件开启redis服务
    - redis-server 配置文件
  - 启动客户端:
    - redis-cli
- 执行工程:
  - scrapy runspider xxx.py
- 向调度器的队列中放入一个起始的url:
  - 调度器的队列在redis的客户端中
    - lpush xxx(redis_key即共享的调度器) www.xxx.com
- 爬取到的数据存储在了redis的proName:items这个数据结构中

将同一份代码多台电脑同时执行,任意一个客户端将人物放入调度器的队列后,机群共同爬取。

以上是关于Scrapy框架--分布式爬虫的主要内容,如果未能解决你的问题,请参考以下文章

爬虫,有啥框架比httpclient更快

Python分布式爬虫必学框架Scrapy打造搜索引擎 ??

Scrapy框架之基于RedisSpider实现的分布式爬虫

怎么样使用Python的Scrapy爬虫框架

Python分布式爬虫必学框架scrapy打造搜索引擎???

Python分布式爬虫必学框架Scrapy打造搜索引擎