python爬虫---CrawlSpider实现的全站数据的爬取,分布式,增量式,所有的反爬机制

Posted dengl

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python爬虫---CrawlSpider实现的全站数据的爬取,分布式,增量式,所有的反爬机制相关的知识,希望对你有一定的参考价值。

CrawlSpider实现的全站数据的爬取

  • 新建一个工程
  • cd 工程
  • 创建爬虫文件:scrapy genspider -t crawl spiderName www.xxx.com
  • 连接提取器LinkExtractor
    • 可以根据指定的规则对指定的连接进行提取
      • 提取的规则就是构造方法中的allow(‘正则表达式’)参数决定
  • 规则解析器Rule
    • 可以将将连接提取器提取到的连接进行请求发送,可以根据指定的规则(callback)对请求到的数据进行解析
  • follow=True:将连接提取器 继续作用到 连接提取器提取到的连接 所对应的 页面源码中

分布式

  • 实现方式:scrapy+scrapy_redis组件实现的分布式。scrapy+redis

  • 原生的scrapy是不可以实现分布式的!!!

  • 什么是分布式

    • 需要搭建一个由n台电脑组成的机群,然后在每一台电脑中执行同一组程序,让其对同一个网络资源
      进行联合且分布的数据爬取。
  • 为什么scrapy不可以实现分布式

    • 调度器不可以被共享
    • 管道不可以被共享
  • scrapy-reids组件的作用是什么

  • 提供可以被共享的管道和调度器

  • 分布式的实现流程

    • 环境的安装:pip install scrapy-redis

    • 创建工程

    • cd 工程

    • 创建爬虫文件:

      • 基于Spider
      • 基于CrawlSpider
    • 修改爬虫文件:

      • 导报:
        from scrapy_redis.spiders import RedisCrawlSpider#基于crawlSpider爬虫文件
        from scrapy_redis.spiders import RedisSpider #基于Spider爬虫文件
      • 将当前爬虫类的父类修改为RedisCrawlSpider
      • 删除allowed_domains和start_urls
      • 添加一个redis_key = ‘xxx’属性,表示的是调度器队列的名称、
      • 根据常规形式编写爬虫文件后续的代码
    • 修改settings配置文件

      • 指定管道
        ITEM_PIPELINES = {
        ‘scrapy_redis.pipelines.RedisPipeline‘: 400
        }

      • 指定调度器

        增加了一个去重容器类的配置, 作用使用Redis的set集合来存储请求的指纹数据, 从而实现请求去重的持久化

        DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

        使用scrapy-redis组件自己的调度器

        SCHEDULER = "scrapy_redis.scheduler.Scheduler"

        配置调度器是否要持久化, 也就是当爬虫结束了, 要不要清空Redis中请求队列和去重指纹的set。如果是True, 就表示要持久化存储, 就不清空数据, 否则清空数据

        SCHEDULER_PERSIST = True

      • 指定redis数据库
        REDIS_HOST = ‘192.168.13.254‘
        REDIS_PORT = 6379

    • 修改redis的配置文件redis.windows.conf

      • 关闭默认绑定
        • 56行:#bind 127.0.0.1
      • 关闭保护模式
        • 75行:protected-mode no
    • 启动redis的服务端(携带配置文件)和客户端

    • 启动分布式的程序:

      • scrapy runspider xxx.py
    • 向调度器的队列中扔入一个起始的url

      • 队列是存在于redis中
      • redis的客户端中:lpush sun www.xxx.com
    • 在redis中就可以查看爬取到的数据

增量式

  • 概念:监测
  • 核心技术:去重
  • 适合使用增量式的网站:
    • 基于深度爬取
      • 对爬取过的页面的url进行一个记录(记录表)
    • 基于非深度爬取
      • 记录表:爬取过的数据对应的数据指纹
        • 数据指纹:就是原始数据的一组唯一标识
  • 所谓的记录表是以怎样的形式存在于哪?
    • redis的set充当记录表

反爬机制

  • robots
  • UA伪装
  • 图片懒加载
  • 验证码
  • cookie
  • 动态加载的数据
  • 动态变化的请求参数
  • js加密
  • js混淆
  • 代理

以上是关于python爬虫---CrawlSpider实现的全站数据的爬取,分布式,增量式,所有的反爬机制的主要内容,如果未能解决你的问题,请参考以下文章

18python网路爬虫之Scrapy框架中的CrawlSpider详解

python爬虫---CrawlSpider实现的全站数据的爬取,分布式,增量式,所有的反爬机制

CrawlSpider实现微信小程序社区爬虫python爬虫入门进阶(18)

python网络爬虫——CrawlSpider

python爬虫入门Scrapy框架之CrawlSpider类

17 Scrapy内置爬虫CrawlSpider和Spider的差异、使用正则分析链接