解读IIS日志中搜索引擎蜘蛛名称代码及爬寻返回代码

Posted 2021-04-24 马海祥博客

对于一个合格的SEOer来说，要想分析一个网站的目前状态，首先要学会的就是如果查询IIS日志，因为网站的一些搜索引擎蜘蛛爬寻状况和访问IP的来源都会记录在IIS日志中，所以IIS日志对每个SEOer或网站管理者非常的重要，马海祥觉得要想准确的解读这些网站日志，我们首先就要先明白IIS日志中搜索引擎蜘蛛名称代码及爬寻返回代码分别是什么？又代表着什么意思？

搜索引擎蜘蛛名称代码：

百度蜘蛛：BaiduSpider

谷歌蜘蛛：Googlebot
　　谷歌专门抓取图片的蜘蛛：Googlebot-Image
　　谷歌广告联盟代码的蜘蛛：Mediapartners-Google

360搜索蜘蛛：360Spider

搜狗蜘蛛：Sogou News Spider
　　搜狗蜘蛛还包括如下这些：Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider（参考一些网站的robots文件，搜狗蜘蛛名称可以用Sogou概括）

SOSO蜘蛛：Sosospider

雅虎蜘蛛：Yahoo Slurp
　　雅虎中国蜘蛛：Yahoo! Slurp China
　　雅虎广告蜘蛛：Yahoo!-AdCrawler

网易有道蜘蛛：YoudaoBot，YodaoBot

MSN蜘蛛：msnbot，msnbot-media

必应蜘蛛：bingbot

Alexa蜘蛛：ia_archiver

即刻蜘蛛：JikeSpider

一搜蜘蛛：YisouSpider

宜搜蜘蛛：EasouSpider

搜索引擎蜘蛛爬寻返回代码解读：

1xx (临时响应)表示临时响应并需要请求者继续执行操作的状态代码。

100 (继续) 请求者应当继续提出请求。服务器返回此代码表示已收到请求的第一部分，正在等待其余部分。

101 (切换协议) 请求者已要求服务器切换协议，服务器已确认并准备切换。

2xx (成功)表示成功处理了请求的状态代码。

200 (成功) 服务器已成功处理了请求。通常，这表示服务器提供了请求的网页。

201 (已创建) 请求成功并且服务器创建了新的资源。

202 (已接受) 服务器已接受请求，但尚未处理。

203 (非授权信息) 服务器已成功处理了请求，但返回的信息可能来自另一来源。

204 (无内容) 服务器成功处理了请求，但没有返回任何内容。

205 (重置内容) 服务器成功处理了请求，但没有返回任何内容。

206 (部分内容) 服务器成功处理了部分GET请求。

3xx (重定向) 表示要完成请求，需要进一步操作。通常，这些状态代码用来重定向。

300 (多种选择) 针对请求，服务器可执行多种操作。服务器可根据请求者 (user agent) 选择一项操作，或提供操作列表供请求者选择。

301 (永久移动) 请求的网页已永久移动到新位置。服务器返回此响应(对 GET 或 HEAD 请求的响应)时，会自动将请求者转到新位置。

302 (临时移动) 服务器目前从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求。

303 (查看其他位置) 请求者应当对不同的位置使用单独的GET请求来检索响应时，服务器返回此代码。

304 (未修改) 自从上次请求后，请求的网页未修改过。服务器返回此响应时，不会返回网页内容。

305 (使用代理) 请求者只能使用代理访问请求的网页。如果服务器返回此响应，还表示请求者应使用代理。

307 (临时重定向) 服务器目前从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求。

4xx(请求错误) 这些状态代码表示请求可能出错，妨碍了服务器的处理。

400 (错误请求) 服务器不理解请求的语法。

401 (未授权) 请求要求身份验证。对于需要登录的网页，服务器可能返回此响应。

403 (禁止) 服务器拒绝请求。

404 (未找到)服务器找不到请求的网页。

405 (方法禁用) 禁用请求中指定的方法。

406 (不接受) 无法使用请求的内容特性响应请求的网页。

407 (需要代理授权) 此状态代码与401(未授权)类似，但指定请求者应当授权使用代理。

408 (请求超时)服务器等候请求时发生超时。

409 (冲突) 服务器在完成请求时发生冲突。服务器必须在响应中包含有关冲突的信息。

410 (已删除) 如果请求的资源已永久删除，服务器就会返回此响应。

411 (需要有效长度) 服务器不接受不含有效内容长度标头字段的请求。

412 (未满足前提条件) 服务器未满足请求者在请求中设置的其中一个前提条件。

413 (请求实体过大) 服务器无法处理请求，因为请求实体过大，超出服务器的处理能力。

414 (请求的 URI 过长) 请求的URI(通常为网址)过长，服务器无法处理。

415 (不支持的媒体类型) 请求的格式不受请求页面的支持。

416 (请求范围不符合要求) 如果页面无法提供请求的范围，则服务器会返回此状态代码。

417 (未满足期望值) 服务器未满足"期望"请求标头字段的要求。

5xx(服务器错误)这些状态代码表示服务器在尝试处理请求时发生内部错误。这些错误可能是服务器本身的错误，而不是请求出错。

500 (服务器内部错误) 服务器遇到错误，无法完成请求。

501 (尚未实施) 服务器不具备完成请求的功能。例如，服务器无法识别请求方法时可能会返回此代码。

502 (错误网关) 服务器作为网关或代理，从上游服务器收到无效响应。

503 (服务不可用) 服务器目前无法使用(由于超载或停机维护)。通常，这只是暂时状态。

504 (网关超时) 服务器作为网关或代理，但是没有及时从上游服务器收到请求。

505 (HTTP 版本不受支持) 服务器不支持请求中所用的HTTP协议版本。

马海祥博客知识扩展：

分析解读IIS网站日志中的“2013-10-26 00:09:12 W3SVC962713505 61.191.55.28 GET /index.html - 80 - 61.135.168.39 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 64”是什么意思？

1、2008-08-19 00:09:12代表搜索引擎蜘蛛爬行的日期与时间

2、W3SVC962713505代表网站日志所在的文件夹

3、61.191.55.28就是搜索引擎蜘蛛访问的网站ip（比如：马海祥博客的ip是61.191.55.28）

4、代码中的/index.html 就代表搜索引擎蜘蛛防问的网页

5、61.135.168.39 Baiduspider代表，百度搜索引擎蜘蛛的ip是61.135.168.39

6、http://www.baidu.com/search/spider.htm baiduspider常见问题解答网页

7、代码中的200就代表搜索引擎蜘蛛爬行后返回HTTP状态代码，通过上面的搜索引擎爬寻返回代码可以了解蜘蛛爬行后的反映。

8、关于蜘蛛在IIS里的200 0 64的状态行为分析：

根据我对马海祥博客iis日志一段时间的观察，虽然暂时还没有足够的证据，但是基本上可以肯定在IIS中，如果蜘蛛后面的号码出现200 0 64，那么网站中的这个单页面就会在搜索引擎中消失了。马海祥博客上被K的页面后面都写着200 0 64，不知道大家是否认同这个看法，当然，我说这个也并不是绝对的，因为我也有一个页面后面显示着200 0 64但是在搜索引擎中依旧可以找到。这也说明着问题，但大多200 0 64行为的网页就已经没有了。

我认为，抓取状态成200 0 64的可能是不正常的抓取，正常的抓取是成功标志200 0 0，当变成了200 0 64的状态时说明搜索引擎在抓取这个页面的时候出现了错误，没有正常的进行常规抓取；对于百度来说，百度很可能是已经不再把这些页面抓进主索引库，而是放进了“百度沙盒”里进行考察，至于考察多久，就看你如何改进了。

所以马海祥觉得蜘蛛的200 0 64行为可以被解释为清除数据。