在搜索引擎领域，有哪些常用的网络爬虫？

Posted 2021-04-24 楚界科技

网络爬虫也有人叫做网络蜘蛛。

Web Spider，是一个很形象的名字，把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。但业界内很少叫蜘蛛的，一般都叫做网络爬虫，Spider只是个别爬虫的名称。

网络爬虫是一个自动提取网页的程序，它为搜索引擎从Internet网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。

不同的搜索引擎有着各自的爬虫，以下是一些我们经常接触到的爬虫程序。

1.    百度爬虫：Baiduspider，包括Baiduspider-image（抓取图片）、Baiduspider-mobile（抓取wap）Baiduspider-video（抓取视频）、Baiduspider-news（抓取新闻）

2.    谷歌爬虫：Googlebot

3.    360爬虫：360Spider

4.    搜狗爬虫：Sogou News Spider。

5.    搜狗爬虫还包括如下这些：Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider

6.    SOSO爬虫：Sosospider

7.    雅虎爬虫：Yahoo! Slurp China

8.    有道爬虫：YoudaoBot或者YodaoBot

9.    MSN爬虫：msnbot-media

10.  必应爬虫：bingbot。

11.   一搜爬虫：YisouSpider。

12.  Alexa爬虫：ia_archiver。

13.  宜搜爬虫：EasouSpider。

14.  即刻爬虫：JikeSpider。