频繁更换IP仍然被反爬?
Posted K哥爬虫
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了频繁更换IP仍然被反爬?相关的知识,希望对你有一定的参考价值。
转载:
每次切换IP依然被反爬?
使用产品类型:
隧道代理动态版(每次请求更换IP)。
问题描述:
目标网站有反爬机制,两次搜索的间隔时间不得少于25秒。使用了我们的隧道代理后,还是会被检测出来,依旧只能25秒访问一次。遂怀疑是我们的隧道代理没有更换IP。
结论
•对于requests.session要慎用,它会进行cookie存储,使用不当会被目标网站识别。
•并不是所有的网站防爬措施都是限制访问IP,需要进行具体分析。
以上是关于频繁更换IP仍然被反爬?的主要内容,如果未能解决你的问题,请参考以下文章