Robot.txt 无索引

Posted 2023-03-25

【中文标题】Robot.txt 无索引

【英文标题】：Robot.txt noindex

【发布时间】：2016-01-15 12:08:37

【问题描述】：

我有 2 个网站。第一个是“test-www.xxxxxxx.net”，另一个是“www.xxxxx.net”。我想制作一个动态的无索引元标记。谷歌机器人可以索引我的实时站点，但我不希望它用于我的测试站点。通常我可以在 _Layout.cshtml 中添加一个属性并使其动态化，如下所示。

@if (!Helper.IsLiveSite())
    
        <meta name="robots" content="noindex">
    

有没有办法可以在 robots.txt 文件中制作它？在一些文章中写道“我强烈建议您尽可能使用 Noindex。”

所以请帮忙！我怎样才能在robot.txt中做到这一点。我不知道下面的文件是否会产生错误。

User-agent: *
Disallow: /styles/
Sitemap: http://xxxxxx/sitemap/sitemap.xml
Noindex: test-www.xxxxxxx.net/*
Noindex: http://test-www.xxxxxxx.net/*
Noindex: https://test-www.xxxxxxx.net/*

谢谢。

【问题讨论】：

Google 有一个 robots.txt 测试工具：google.com/webmasters/tools/robots-testing-tool，但基本上最简单的方法是为您的每个网站制作一个 robots.txt 文件，而不是同时为这两个网站制作一个文件。然后为您的测试站点制作一个 noindex 一切。

【参考方案1】：

您不能禁止 indexing 使用 robots.txt¹，只能抓取（使用 Disallow）。

如果您想禁止从您的测试站点抓取所有文档，您必须上传可从test-www.xxxxxxx.net/robots.txt 访问的 robots.txt：

User-agent: *
Disallow: /

（并且此 robots.txt 文件应该不也可以从您的实时站点访问。）

搜索引擎（支持 robots.txt 的）将不再访问（抓取）此主机上的 URL。如果他们以某种方式在该主机上找到文档的 URL（例如，如果另一个页面链接到它们），他们可能会列出（index）它们。

¹ 不过，Google 支持（也许仍然支持）这个 experimentally。

【讨论】：

感谢您的帮助@unor

@unor 我已按照您的回答。但谷歌仍然在搜索结果中显示我的网站。我还在我的 base.html.twig 中放置了元标记（我正在使用 symfony2.3）。它在源代码中显示了这些元数据。但谷歌仍然在搜索结果中显示它。有什么我错过了吗？？？

@AshishShah：添加此 robots.txt 后，您等了多长时间？ -- 您网站的结果是否显示了描述，还是说无法显示描述？

@unor：在 addmin robots.txt 之后已经 2 天了。是的，结果显示描述。

@AshishShah：您必须等到 Googlebot 再次访问您的网站，这可能需要几天以上的时间。