Baiduspider - 百度蜘蛛

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Baiduspider - 百度蜘蛛相关的知识,希望对你有一定的参考价值。

Baiduspider - 百度蜘蛛:


百度是如何收录到那么多网页的呢?这个百度用以抓取互联网上数以亿计的网页的程序,就叫做Baiduspider - 百度蜘蛛。


它是一个程序,夜以继日得在互联网上找寻新的URL,接着抓取URL上的内容,返回到百度的网页暂存数据库。


百度用来抓取网页内容的程序,叫做Baiduspider,抓取其他内容的蜘蛛,则是新的名字:


产品名称                 对应user-agent


网页搜索                Baiduspider

无线搜索                Baiduspider-mobile

图片搜索                Baiduspider-image

视频搜索                Baiduspider-video

新闻搜索                Baiduspider-news

百度搜藏                Baiduspider-favo

百度联盟                Baiduspider-cpro


不少朋友会在自己的网站日志里看到这个蜘蛛Baiduspider-cpro,现在我们明白它是百度联盟蜘蛛,用以百度联盟程序匹配相应的广告。

以上是关于Baiduspider - 百度蜘蛛的主要内容,如果未能解决你的问题,请参考以下文章

如何知道百度蜘蛛是不是爬过我的网站

怎么查看百度蜘蛛来访问我的网站了?我下载了日子,好像都没有baiduspider这个单词啊?

如何知道百度蜘蛛是不是浏览过我的网站

大神帮我看下百度蜘蛛有没有来过我的网站

Googlebot

php判断来访者是否是搜索引擎的蜘蛛