谷歌机器人在索引我的网站时出现 503 错误

Posted 2023-03-10

【中文标题】谷歌机器人在索引我的网站时出现 503 错误

【英文标题】：Google bots get 503 errors while indexing my website

【发布时间】：2018-06-06 05:07:42

【问题描述】：

当 google（或任何其他机器人）在抓取我使用 Laravel 开发的网站时，它会收到 503 Server Unavailable 错误。我可以毫无问题地访问我的网站并且没有任何错误：http://www.kurumyonetimsistemi.com

我该如何解决这个问题？

编辑：

503 错误是因为我将未找到的页面重定向到自定义页面。如果我删除此重定向，机器人会收到 500 内部服务器错误。但我可以毫无问题地在浏览器上显示我的网站。

【问题讨论】：

在 Google 网站管理员仪表板中，您可以找到整个错误。请发布此错误，因为如果您不提供更多信息，我们将无法帮助您。

它只是说：Google 无法关注您的网址，因为它重定向了太多次。我使用网站检查了错误并报告：Broken link: kurumyonetimsistemi.com 503 Server Unavailable

可能是您对机器人有自定义设置。你有robots.txt 文件吗？

是的，它包含：用户代理：* 允许：*

有趣。您的网址 /robots.txt 似乎工作正常并返回 200

【参考方案1】：

好吧，经过一段时间的搜索，我找到了问题所在。我正在获取访问者浏览器语言并将其作为 cookie 处理。 此过程会导致机器人出错。如果我删除代码，问题就解决了。