nginx通过robots.txt禁止所有蜘蛛访问(禁止搜索引擎收录)
Posted linkenpark
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了nginx通过robots.txt禁止所有蜘蛛访问(禁止搜索引擎收录)相关的知识,希望对你有一定的参考价值。
在server {} 块中添加下面的配置
location =/robots.txt { default_type text/html; add_header Content-Type "text/plain; charset=UTF-8"; return 200 "User-Agent: *\nDisallow: /"; }
在线测试robots.txt是否生效
https://ziyuan.baidu.com/robots/index
robots.txt文件生产工具:http://tool.chinaz.com/robots/
其他网站参考:
https://www.tmall.com/robots.txt
https://www.jd.com/robots.txt
https://www.qq.com/robots.txt
以上是关于nginx通过robots.txt禁止所有蜘蛛访问(禁止搜索引擎收录)的主要内容,如果未能解决你的问题,请参考以下文章