反爬机制

Posted zhangchen-sx

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了反爬机制相关的知识,希望对你有一定的参考价值。

robots        防君子不防小人

UA伪装      request 设置headers参数

ajax           动态数据json

图片懒加载  src2/origin

数据加密    js代码里面一些function 加密算法

验证码       云打码/超级鹰12306

cookie       session会话

哈希值       xpath element 里面搜索

以上是关于反爬机制的主要内容,如果未能解决你的问题,请参考以下文章

常见的反爬机制及应对策略

cloudflare反爬机制学习

字体反爬之快手

反爬机制

爬虫遇到反爬机制怎么办? 看看我是如何解决的!

反爬机制及反反爬策略