requests不被封方法

Posted 2023-03-13

参考技术A requests不被封的方法如下：
1.设置headers
通过Python的requests.get(url)有时候会爬到的内容有时候是空网页。原因是网站检测到你发送的request不正常。
这时候通过设置headers参数来模拟真实浏览器发送的请求，往往能解决问题。
2. 设置proxies
有时候会写一些刷访问量的脚本，如果不设置proxies，每次访问请求都是来自同一ip，很容易被后台检测到。
3.爬虫的技术升级过程。