判断来防ip是否为蜘蛛

Posted zjfeng

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了判断来防ip是否为蜘蛛相关的知识,希望对你有一定的参考价值。

判断网站来防IP是否为蜘蛛,用命令查询 :

 
 
一、在windows平台
蜘蛛反查命令:nslookup IP
点击“开始”-“运行”-“cmd”-“输入nslookup IP地址”-“回车”
C:\\>nslookup 203.208.60.203
 
查询结果如下:
总结:windows可以用nslookup命令反解ip来判断是否来自spider的抓取。
 
二、在linux平台
$ host 123.125.a.b
baiduspider-123.125.a.b.crawl.baidu.com.
 
总结:linux可以用host 命令反解ip来判断是否来自Baiduspider的抓取。

以上是关于判断来防ip是否为蜘蛛的主要内容,如果未能解决你的问题,请参考以下文章

php判断来访者是否是搜索引擎的蜘蛛

爬虫日记(85):Scrapy的ExecutionEngine类

百度蜘蛛ip段代表的不同含义

详解百度蜘蛛ip段代表的不同含义

Python Django Middleware中间件限制IP访问频率及判断搜索引擎爬虫

网站程序怎么判断是访客还是蜘蛛在访问?