SEO - 为爬虫重定向 301 的正确方法

Posted 2023-02-24

【中文标题】SEO - 为爬虫重定向 301 的正确方法

【英文标题】：SEO - correct way to redirect 301 for crawler

【发布时间】：2017-04-26 09:12:29

【问题描述】：

我遇到了 Google 的抓取问题，我不确定这是否是技术问题。基本上我们重新设计了我们的网站，所以我们像这样对用户进行 301 重定向：

url.com/ --> url.com/en/items 或 url.com/en --> url.com/en/items

所以每个用户最终都会访问页面 url.com/lang/items

建议我们使用

<link rel="alternate" hreflang= 

告诉 Google 在哪里可以找到另一种语言的显示页面。 例如： http://www.url.com/en/boats 有标签：

<link rel="alternate" hreflang="de-DE" href="http://www.url.com/de/boote" />

在http://www.url.com/de/boote 上：

<link rel="alternate" hreflang="en-US" href="http://www.url.com/en/boats" />

现在，抓取工具为我们提供 url.com/en 和 url.com/de/items 的抓取错误“无反向链接”。当然 url.com/de/items 链接回 url.com/en/items，因为 url.com/en 不存在了。为什么页面 url.com/en 甚至在这里考虑？

我这样重定向：

Response.Redirect(site);
Response.StatusCode = 301;
Response.End();

非常感谢任何提示！

谢谢！

迈克尔

【参考方案1】：

这些信息很难说，如果某些东西可能配置错误。 您能否为两个页面的标签添加确切的代码行？

您是否还添加了页面本身的行，如本文https://moz.com/learn/seo/hreflang-tag 中所述。这是我们在实现 hreflangs 时遇到的一个问题，我们得到了完全相同的错误。

也可能是 google 爬虫还没有用新的 url 索引“新”网站，所以它仍然索引了旧的 url。这可能需要一些时间，在此讨论中提到 https://www.quora.com/How-long-does-it-take-Google-recognize-301-redirect-updates-and-remove-the-old-pages-from-its-index

【讨论】：

感谢您的回复，对帖子进行了编辑。但我认为问题在于重定向。对于所有其他页面，没有显示错误。重定向页面似乎是问题所在。例如 url.com/en 已经不存在了，但谷歌仍然需要反向链接？！

如果我理解你是正确的，你有一堆配置了 hreflang 属性的页面，这很好，并且不会在谷歌中抛出错误。只有那些实施了 301 重定向的，不正确？如果是这样，我建议测试您的重定向，例如使用此工具redirect-checker.org/index.php 这有助于我们检查如何从外部看到我们的重定向或状态代码。

感谢您的工具！但它说一切都很好。重定向似乎配置正确。 url.com 使用 301 正确重定向到 url.com/en/boats。唯一的问题是，为什么谷歌说，我需要一个从 url.com/en/boats 到 url.com 的反向链接。这根本没有意义，如果您记住 url.com “不存在”，它只会检查用户语言并重定向......