Python之 爬虫关于深度优先和广度优先

Posted shuai1991

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python之 爬虫关于深度优先和广度优先相关的知识,希望对你有一定的参考价值。

  • 网站的树结构
  • 深度优先算法和实现
  • 广度优先算法和实现

网站的树结构

通过伯乐在线网站为例子:

技术图片

 

 

并且我们通过访问伯乐在线也是可以发现,我们从任何一个子页面其实都是可以返回到首页,所以当我们爬取页面的数据的时候就会涉及到去重的问题,我们需要将爬过的url记录下来,我们将上图进行更改

技术图片

 

 

在爬虫系统中,待抓取URL队列是很重要的一部分,待抓取URL队列中的URL以什么样的顺序排队列也是一个很重要的问题,因为这涉及到先抓取哪个页面,后抓取哪个页面。而决定这些URL排列顺序的方法,叫做抓取策略。下面是常用的两种策略:深度优先、广度优先 

深度优先

深度优先是指网络爬虫会从起始页开始,一个链接一个链接跟踪下去,处理完这条线路之后再转入下一个起始页,继续追踪链接,通过下图进行理解:

注:scrapy默认采用的是深度优先算法

技术图片

这里是深度优先,所以这里的爬取的顺序式:
A-B-D-E-I-C-F-G-H (递归实现)

深度优先算法的实现(伪代码):

技术图片

广度优先

广度优先,有人也叫宽度优先,是指将新下载网页发现的链接直接插入到待抓取URL队列的末尾,也就是指网络爬虫会先抓取起始页中的所有网页,然后在选择其中的一个连接网页,继续抓取在此网页中链接的所有网页,通过下图进行理解:

技术图片

还是以这个图为例子,广度优先的爬取顺序为:
A-B-C-D-E-F-G-H-I (队列实现)

广度优先代码的实现(伪代码):

技术图片

 

以上是关于Python之 爬虫关于深度优先和广度优先的主要内容,如果未能解决你的问题,请参考以下文章

Python之 爬虫关于深度优先和广度优先

深度优先广度优先python爬虫

深度优先广度优先python爬虫

第三百三十八节,Python分布式爬虫打造搜索引擎Scrapy精讲—深度优先与广度优先原理

scrapy是深度优先还是广度优先?-Python每日3题(爬虫专题)

Scrapy实战2:爬虫深度&&广度优先算法