判断来防ip是否为蜘蛛
Posted zjfeng
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了判断来防ip是否为蜘蛛相关的知识,希望对你有一定的参考价值。
判断网站来防IP是否为蜘蛛,用命令查询 :
一、在windows平台
蜘蛛反查命令:nslookup IP
点击“开始”-“运行”-“cmd”-“输入nslookup IP地址”-“回车”
C:\\>nslookup 203.208.60.203
查询结果如下:
总结:windows可以用nslookup命令反解ip来判断是否来自spider的抓取。
二、在linux平台
$ host 123.125.a.b
baiduspider-123.125.a.b.crawl.baidu.com.
总结:linux可以用host 命令反解ip来判断是否来自Baiduspider的抓取。
以上是关于判断来防ip是否为蜘蛛的主要内容,如果未能解决你的问题,请参考以下文章
爬虫日记(85):Scrapy的ExecutionEngine类