绕过雅虎的 999 区块？

Posted 2023-02-27

【中文标题】绕过雅虎的 999 区块？

【英文标题】：Getting around Yahoo's 999 block?

【发布时间】：2011-12-19 13:43:22

【问题描述】：

我正在使用 jquery cross-domain-request JS 脚本通过犯罪记录搜索引擎从数据库中运行姓名列表。 JS 脚本使用“http://query.yahooapis.com/v1/public”工具来处理搜索以绕过同源策略。问题是，我的脚本每天几次在 2 分钟内运行大约 200 个名称，这导致我的服务器的 IP 地址在一段时间内被阻止，并因服务器过载而出现 999 错误。

任何人都可以想办法解决这个问题吗？这不是一个巨大的流量。就像我说的，几百次搜索可能一天 3 到 4 次。我无法阻止我的 IP 地址，因为该脚本正在网络服务器（不是我的个人电脑）上运行。

我知道这是一个非常随机的问题，但它确实给我带来了很多问题。

【问题讨论】：

如果是普通网页搜索，可以切换到Bing API。它是少数几个对请求没有上限的提供商之一。

为什么不能在服务器上编写自己的代理并处理数据？

【参考方案1】：

如果您知道将提前运行哪些搜索，则可以安排分发搜索。

如果搜索是实时和动态的，您可以分批执行它们，并在批次之间进行休眠。在等待后面的批次完成时，呈现先前批次返回的数据。例如，请参阅 kayak.com 搜索航班的界面 - 早期结果填充，而 kayak 搜索其他结果。这种方法只有在小 delyas 足以克服 yahoo 的速率限制时才会真正奏效。

【讨论】：

谢谢，这也是我想到的唯一解决方案。如果您在 10 分钟内提交 200 次搜索，雅虎似乎会开始阻止，因此它们必须在相当长的时间内分散开来（就我现在如何运行而言）。这可能是唯一的出路。谢谢。