阻止搜索引擎索引我的api
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了阻止搜索引擎索引我的api相关的知识，希望对你有一定的参考价值。
我在api.website.com上有api，不需要身份验证。
我正在寻找一种方法来禁止谷歌索引我的api。
有办法吗？
我已经在我的机器人api.website.com/robots.txt中禁用，但这只是阻止谷歌抓取它。
User-agent: *
Disallow: /
通常的方法是删除Disallow并添加一个noindex元标记，但它是一个API，因此没有元标记或任何东西。
还有其他办法吗？
答案
似乎有一种方法可以在api调用上添加noindex。
在这两个页面上推荐的解决方案是向您不希望编入索引的页面添加noindex元标记。 （X-Robots-Tag HTTP标头也适用于非html页面。但我不确定它是否适用于重定向。）矛盾的是，这意味着您必须允许Googlebot抓取这些页面（通过删除它们完全来自robots.txt，或者为Googlebot添加一组单独的，更宽松的规则，因为否则它首先看不到元标记。
另一答案
奇怪的是谷歌忽略了你的/robots.txt文件。尝试在根网站目录中删除index.html文件，并在网页的<head>...</head>标记之间添加以下内容。
<meta name="robots" content="noindex, nofollow">
以上是关于阻止搜索引擎索引我的api的主要内容，如果未能解决你的问题，请参考以下文章
ini 阻止搜索引擎在Nginx中索引.txt，.log，.xml，.css和.js文件
我可以阻止 Apache Web 服务器上每个站点的搜索爬虫吗？