无限 debugger 能劝退 Spider Engineer 吗?原来我还没入门!
Posted 毕小宝
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了无限 debugger 能劝退 Spider Engineer 吗?原来我还没入门!相关的知识,希望对你有一定的参考价值。
背景
看了一个专栏,里面有介绍 Python Spider Engineer 工程师常用的开发者工具,学到了一招,如何对付 debugger
语句。想起去年被某网站的无限断点劝退的经历 《JS 反爬:一分钟了解 debugger 如何劝退爬虫》,感觉我还没有入门哇。
常规 Anti Spider 技术之一
这个网站里面,只要打开浏览器的开发者模式,就会无限进入断点,网页访问无法继续。今天学到了一招,就是点击这一行,右键操作里面“ Never pause here”:
这样就能愉快地继续分析了啊,如此简单!
Console was cleared
Anti Spider 不停进行控制台清空,同时又无限打印日志,这一点简单的方法就是重写 console 事件:
// 转移清空函数,并重写
console.backclear = console.clear;
console.clear = function ()
return;
;
// 转移日志函数,并重写
console.backlog = console.log;
console.log = function ()
return;
;
启示录
学以致用,Spider 是个大话题,也是 Sensitive 的,搞不好还会触碰 platform 的 Sensitive Word library ,简单有效的一个方法:
- Sensitive Word 转换为 Unicode 字符串。
- 使用英语替代。
- 使用图片替代 Sensitive Word。
今天又有了一点继续学习 Python 的热情,真的是太简洁了啊,接口调用的一行代码抵得上 Java 的十行。
以上是关于无限 debugger 能劝退 Spider Engineer 吗?原来我还没入门!的主要内容,如果未能解决你的问题,请参考以下文章
无限 debugger 能劝退 Spider Engineer 吗?原来我还没入门!
Chapter Two:无限debugger的原理与绕过与断点调试