一款轻量级爬虫框架的设计思路

Posted 2021-04-25 动态换ip

【太阳代理】 技术的革新永远会带动多个行业的发展，毕竟 AI 的时代已经到来， 爬虫和反爬虫的斗争一直持续进行。这里发分享一款轻便好用的爬虫框架的设计思路，供大家参考。

爬虫框架要考虑什么

　　要设计这一款爬虫框架，是基于 Scrapy 的设计思路来完成的，先来看看在没有爬虫框架的时候我们是如何抓取页面信息的。 一个常见的例子是使用 HttpClient 包或者 Jsoup 来处理，对于一个简单的小爬虫而言这足够了。

　　那么设计爬虫框架要有哪些组成呢?

1.网页下载器

　　在前面的简单例子中可以看出，如果没有网页下载器，用户就要编写网络请求的处理代码，这无疑对每个URL都是相同的动作。 所以在框架设计中我们直接加入它就好了，至于使用什么库来进行下载都是可以的，你可以用 httpclient 也可以用 okhttp， 在本文中我们使用一个超轻量级的网络请求库 oh-my-request (没错，就是在下搞的)。 优秀的框架设计会将这个下载组件置为可替换，提供默认的即可。

2.URL管理器

　　爬虫框架要处理很多的URL，我们需要设计一个队列存储所有要处理的URL，这种先进先出的数据结构非常符合这个需求。 将所有要下载的URL存储在待处理队列中，每次下载会取出一个，队列中就会少一个。我们知道有些URL的下载会有反爬虫策略， 所以针对这些请求需要做一些特殊的设置，进而可以对URL进行封装抽出 Request。

3.网页解析器

　　我们知道当一个页面下载完成后就是一段 html 的 DOM 字符串表示，但还需要提取出真正需要的数据， 以前的做法是通过 String 的 API 或者正则表达式的方式在 DOM 中搜寻，这样是很麻烦的，框架 应该提供一种合理、常用、方便的方式来帮助用户完成提取数据这件事儿。常用的手段是通过 xpath 或者 css 选择器从 DOM 中进行提取，而且学习这项技能在几乎所有的爬虫框架中都是适用的。

4.爬虫调度器

　　调度器和我们在开发 web 应用中的控制器是一个类似的概念，它用于在下载器、解析器之间做流转处理。 解析器可以解析到更多的URL发送给调度器，调度器再次的传输给下载器，这样就会让各个组件有条不紊的进行工作。

5.数据处理器

　　普通的爬虫程序中是把 网页解析器 和 数据处理器 合在一起的，解析到数据后马上处理。 在一个标准化的爬虫程序中，他们应该是各司其职的，我们先通过解析器将需要的数据解析出来，可能是封装成对象。 然后传递给数据处理器，处理器接收到数据后可能是存储到数据库，也可能通过接口发送给老王。

整个流程和 Scrapy 是一致的，但简化了一些操作

　　引擎(Engine): 用来处理整个系统的数据流处理, 触发事务(框架核心)

　　调度器(Scheduler): 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL(抓取网页的网址或者说是链接)的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址

　　下载器(Downloader): 用于下载网页内容, 并将网页内容返回给调度器

　　爬虫(Spiders): 爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。 用户也可以从中提取出链接，让框架继续抓取下一个页面

　　项目管道(Pipeline): 负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。 当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。

　　执行流程图

 

　　首先，引擎从调度器中取出一个链接(URL)用于接下来的抓取

　　引擎把URL封装成一个请求(Request)传给下载器，下载器把资源下载下来，并封装成应答包(Response)

　　然后，爬虫解析Response

　　若是解析出实体(Item),则交给实体管道进行进一步的处理。

　　若是解析出的是链接(URL),则把URL交给Scheduler等待抓取

　　因此，轻量级爬虫具有以下基本特性

　　易于定制： 很多站点的下载频率、浏览器要求是不同的，爬虫框架需要提供此处扩展配置

　　多线程下载： 当CPU核数多的时候多线程下载可以更快完成任务

　　支持 XPath 和 CSS 选择器解析

　架构图

 

太阳代理致力于提供高质量，高匿名度的IP代理服务，安全、稳定、高匿、高质量，可用率高达95%以上，运营商正规授权机房，支持自定义提取API，承受高并发量。太阳代理为您提供全方位服务，助力于您的大数据行业发展。————太阳代理运营管理团队