WordPress网站robots的具体写法

Posted 2020-08-24

　　robots协议是规范搜索引擎抓取的，在网站优化当中他可以帮助我们处理死链接，保护网站数据安全有着胃肠主要的作用。

　　Robots协议初衷：保护网站内部信息，保护服务器流量平衡

　　在互联网发展早期，搜索引擎还没有为网站带来明显的商业价值，搜索引擎爬虫也没有受到网站的普遍欢迎，主要有如下原因：

　　一、快速抓取导致网站过载，影响网站正常运行;

　　二、重复抓取相同的文件，抓取层级很深的虚拟树状目录，浪费服务器资源;

　　三、抓取网站管理后台等内部敏感信息，或抓取临时文件等对用户没有价值的信息;

　　四、抓取会对投票等CGI脚本造成负面影响，可能出现虚假的投票结果。

　　robots应该怎么写呢?博主分享了他自己写WordPress网站robots的经验，其中有robots的名词解释，书写格式，案例讲解，具体操作方法等，感兴趣的朋友可以百度搜索西安SEO找一个黄上SEO就是了。

本文出自 “菜鸟学习笔记” 博客，谢绝转载！