如何使用现场搜索处理机器人并使用太多请求溢出SQL？

Question

什么是最好的做法，不会骚扰洪水限制的用户，但阻止机器人进行自动搜索？

到底是怎么回事：

我更加意识到奇怪的搜索行为，我终于有时间去抓住它是谁。它是157.55.39。*也称为Bing。这很奇怪，因为当检测到_GET ['q']时，会添加noindex。

然而问题是，它们正在减慢SQL服务器的速度，因为有太多的请求实例进入。

到目前为止我做了什么：

我已经实施了搜索洪水限制。但是，因为我使用会话cookie，从上一个搜索时间戳检查和计算 - 明显忽略cookie并继续。

最糟糕的情况是添加reCAPTHA，但我不想要“你是人吗？”每次搜索时都会勾选。只有在检测到洪水时才会出现。所以基本上，真正的问题是，如何检测来自客户端的太多请求以触发某种重新连接以停止请求。

编辑＃1：我目前处理的情况是：

<?

# Get end IP
define('CLIENT_IP', (filter_var(@$_SERVER['HTTP_X_FORWARDED_IP'], FILTER_VALIDATE_IP) ? @$_SERVER['HTTP_X_FORWARDED_IP'] : (filter_var(@$_SERVER['HTTP_X_FORWARDED_FOR'], FILTER_VALIDATE_IP) ? @$_SERVER['HTTP_X_FORWARDED_FOR'] : $_SERVER['REMOTE_ADDR'])));

# Detect BING:
if (substr(CLIENT_IP, 0, strrpos(CLIENT_IP, '.')) == '157.55.39') {

    # Tell them not right now:
    Header('HTTP/1.1 503 Service Temporarily Unavailable');

    # ..and block the request
    die();
}

有用。但它似乎是解决更系统问题的另一种临时解决方案。

我想提一下，我仍然希望搜索引擎，包括Bing来索引/search.html，而不是实际搜索那里。没有“最新搜索”或类似的东西，所以它是一个神秘的地方，他们从中获取查询。

编辑＃2 - 我是如何解决它的如果将来有其他人有这些问题，我希望这会有所帮助。

首先，事实证明Bing拥有与Google相同的网址参数功能。所以我能告诉Bing忽略URL参数“q”。

基于正确的答案，我添加了参数q的禁止行到robots.txt：

Disallow: /*?q=*
Disallow: /*?*q=*

我还告诉bing网站管理员控制台，不要打扰我们的高峰流量。

总的来说，这立即显示了服务器资源使用的积极反馈。但是，我将为相同的查询实现总体泛洪限制，特别是涉及_GET的情况。因此，如果Bing决定访问AJAX调用（例如：？action = upvote＆postid = 1）。