如何知道百度蜘蛛是不是爬过我的网站

Posted 2023-04-24

参考技术A 这里介绍通过看日志来了解百度蜘蛛是否来过：很多网站目前使用的都是虚拟空间，都能够提供日志。日志是指在网站根目录下的logfiles文件夹里面日期.txt文本文件。下载到本地，用记事本打开.txt文本，一般百度蜘蛛代码是“baiduspider”，我们可以查找下文档中是否存在“baiduspider”，如果存在，看下里面的代码：2010-04-19 21:06:44 W3SVC725 58.221.29.72 GET /robots.txt - 80 - 220.181.7.14 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0 305 209。下面我来解释下这段代码：

1、2010-04-19 21:06:44是日期，也就是蜘蛛来的日期和时间了。

2、 GET /robots.txt 访问的页面 get表示获取

3、80是端口

4、220.181.7.14是蜘蛛的ip地址

5、Baiduspider+(+http://www.baidu.com/search/spider.htm)是百度蜘蛛了

6、200表示抓取成功。有时会出现其他代码如：404 - 请求的网页不存在；503 - 服务器暂时不可用

如果你还想知道有没有其它搜索引擎的蜘蛛来过你的站，你可以在日志文件中搜索“spider”这个词，或者搜索蜘蛛的IP，例如Soso的蜘蛛“sosospider”，可以查看Soso的蜘蛛是否来过。本回答被提问者采纳 参考技术B 看日志 参考技术C 百度上搜你的网站看看

蜘蛛禁止访问文件

http://blog.sina.com.cn/s/blog_5b5790f10100vala.html

 

建好后什么结构与内容都没有确定好之前，我怎么去屏蔽搜索引擎蜘蛛不来访问我的网站，不收录我的网站，这样才不会给我的网站造成损失，其实这样的问题再百度也有很多种回答，可能是由于答案太多太乱的缘故，有很多的人都找不到比较权威的回答，前面我们在文章里讲到一些新手SEO推广建站需注意的问题里面没有讲到关于屏蔽蜘蛛的这一项，现在为大家介绍一下，总体的给大家归纳一下吧！在这里给大家介绍两种方法，如下：一、创建robots.txt文件，并将文件放置在网站根目录。 文件的内容如下： 1、禁止所有搜索引擎访问网站的任何部分 User-agent: * Disallow: / 大家知道为什么要创建一个robots.txt的文件吗，也许有很多的都知道建立这个文件就可以屏蔽蜘蛛的访问，不让搜索引擎抓取到自己的网站。在这里我想告诉你的是，不管任何的搜索引擎他来到了你的网站。首先访问的就是你的robots.txt日志文件，当你在robots.txt里设置权限不让搜索引擎访问，那么蜘蛛也会遵守互联网的协议进行返回，这就是为什么我们要建立robots.txt文析的原因。 二、在模版的header.php的文件时添加一段代码，因为蜘蛛来到你的网站是由上到下访问的，所以刚开始访问到的肯定是从header<顶部>开始抓取。所以如果我们在顶部里设置好屏蔽蜘蛛的访问代码后，蜘蛛也会跟第一条一样遵守协议返回。屏蔽蜘蛛访问代码如下：<meta name=”Robots” content=”noindex,nofollow”> 通过以上两种方法的话，我们基本上可以屏蔽搜索引擎蜘蛛访问到我们的网站，这样我们就可以去安心的做好网站的结构与内容之后再开放蜘蛛的访问