蜘蛛禁止访问文件

Posted pengcx

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了蜘蛛禁止访问文件相关的知识,希望对你有一定的参考价值。

http://blog.sina.com.cn/s/blog_5b5790f10100vala.html

 

建好后什么结构与内容都没有确定好之前,我怎么去屏蔽搜索引擎蜘蛛不来访问我的网站,不收录我的网站,这样才不会给我的网站造成损失,其实这样的问题再百度也有很多种回答,可能是由于答案太多太乱的缘故,有很多的人都找不到比较权威的回答,前面我们在文章里讲到一些新手SEO推广建站需注意的问题里面没有讲到关于屏蔽蜘蛛的这一项,现在为大家介绍一下,总体的给大家归纳一下吧!在这里给大家介绍两种方法,如下:一、创建robots.txt文件,并将文件放置在网站根目录。 文件的内容如下: 1、禁止所有搜索引擎访问网站的任何部分 User-agent: * Disallow: / 大家知道为什么要创建一个robots.txt的文件吗,也许有很多的都知道建立这个文件就可以屏蔽蜘蛛的访问,不让搜索引擎抓取到自己的网站。在这里我想告诉你的是,不管任何的搜索引擎他来到了你的网站。首先访问的就是你的robots.txt日志文件,当你在robots.txt里设置权限不让搜索引擎访问,那么蜘蛛也会遵守互联网的协议进行返回,这就是为什么我们要建立robots.txt文析的原因。 二、在模版的header.php的文件时添加一段代码,因为蜘蛛来到你的网站是由上到下访问的,所以刚开始访问到的肯定是从header<顶部>开始抓取。所以如果我们在顶部里设置好屏蔽蜘蛛的访问代码后,蜘蛛也会跟第一条一样遵守协议返回。屏蔽蜘蛛访问代码如下:<meta name=”Robots” content=”noindex,nofollow”> 通过以上两种方法的话,我们基本上可以屏蔽搜索引擎蜘蛛访问到我们的网站,这样我们就可以去安心的做好网站的结构与内容之后再开放蜘蛛的访问

 

以上是关于蜘蛛禁止访问文件的主要内容,如果未能解决你的问题,请参考以下文章

nginx通过robots.txt禁止所有蜘蛛访问(禁止搜索引擎收录)

如何查看搜索引擎蜘蛛有没有来访问过网站,何时来访问的呢?

iis中一个站点里的一个视频文件,被下载无数次,如何禁止?

Nginx配置——禁止指定user_agent

引蜘蛛软件哪款有效果?多少钱怎么购买?

Destoon搜索页开启百度蜘蛛抓取方法