noindex 标签是不是会阻止机器人抓取页面上的链接？

Posted 2023-03-25

【中文标题】noindex 标签是不是会阻止机器人抓取页面上的链接？

【英文标题】：Does the noindex tag prevent bots from crawling the links on the page?noindex 标签是否会阻止机器人抓取页面上的链接？

【发布时间】：2016-06-14 02:31:03

【问题描述】：

如果我有一个带有 noindex 标记 <meta name="robots" content="noindex" /> 的页面，我知道该页面不会显示在搜索结果中。

但是页面上的链接还会被抓取吗？

如果我想让它们被抓取，我可以设置<meta name="robots" content="noindex, follow" /> 之类的东西吗？它会起作用吗？

【问题讨论】：

跟随是默认的。你不需要指定它。

【参考方案1】：

noindex 标签<meta name="robots" content="noindex" /> 用于防止大多数搜索引擎网络爬虫将您网站上的页面编入索引。

爬虫不会使用content="noindex, follow"标签对页面进行索引，而是会爬取其余页面。

您可以在此处找到更多详细信息：http://www.robotstxt.org/meta.html

【讨论】：

您的链接已失效

我已更改链接。您现在可以查看。