Python selenium 防止网站阻塞

Posted 2023-02-22

【中文标题】Python selenium 防止网站阻塞

【英文标题】：Python selenium prevent website from blocking

【发布时间】：2020-07-20 03:01:00

【问题描述】：

我并没有真正的计划，只是想弄清楚如何才能防止网站知道我反复访问它们。

我不知道如何使用 selenium，这就是为什么要反复尝试 - 突然网站阻止了我。我打开了 proton***（免费），但它仍然不允许我进入那个网站。我读到了关于 chrome 和 Proxies 上的假用户代理以及所有这些东西，但关键是什么？在第二次进入之前我需要做什么，这样就不会再有人知道是我了？

更改我的 IP 地址就足够了吗？这是要走的路吗？我没有找到合适的与 python 相关的答案

【问题讨论】：

可以分享问题的SS吗？

当我回来的时候我会拿一个，但这只是一个“我不是机器人”的验证码，它阻止我进入，而且以前不存在。所以网站以某种方式检测到我

如果您使用脚本访问该站点，那么您可能想降低代码速度，否则该站点会认为您是机器人

【参考方案1】：

这里的问题听起来像两个方面：

许多网站都有用户代理检测方法，可以识别自动化工具，例如 Selenium。

快速执行针对网站的操作通常会触发机器人检测工具，而且也是不明智的做法。通常对于抓取网站，如果您不确定使用了哪种反僵尸程序或反垃圾邮件系统，您希望将抓取工具配置为具有类似人类的操作执行时间。

最好的办法是检查 selenium 用户代理并将其配置为其他 as per this post here。