2.robots协议
Posted Mrs.King_UP
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了2.robots协议相关的知识，希望对你有一定的参考价值。
- 该协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取
- 怎么访问robots协议：url为xxxx/robots.txt，为纯文本形式
- user-agent:搜索引擎的名字；Disallow用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分路径，任何以Disallow开头的URL均不会被Robot访问到
- 该文件无强制性，仅考自我约束力
以上是关于2.robots协议的主要内容，如果未能解决你的问题，请参考以下文章