攻防世界Web_robots协议

Posted 2021-05-07 海王派大星

X老师上课讲了Robots协议，小宁同学却上课打了瞌睡，赶紧来教教小宁Robots协议是什么吧。

 

想解出这道题目首先得学习一下什么是robots协议。。。

 

什么是robots协议：
robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，
它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），
此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。
因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。
robots.txt应放置于网站的根目录下。
如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，
或者使用robots元数据（Metadata，又称元数据）。

 

robots协议的功能：
Robots协议用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取；
可以屏蔽一些网站中比较大的文件，如：图片，音乐，视频等，节省服务器带宽；
可以屏蔽站点的一些死链接。
方便搜索引擎抓取网站内容；设置网站地图连接，方便引导蜘蛛爬取页面。

 

robots.txt文件写法：
User-agent: *    这里的*代表的所有的搜索引擎种类，*是一个通配符
Disallow: /admin/    这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/    这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/    这里定义是禁止爬寻ABC目录下面的目录
Disallow: /cgi-bin/.htm    禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /?*    禁止访问网站中所有包含问号 (?) 的网址
Disallow: /.jpg$    禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html    禁止爬取ab文件夹下面的adc.html文件。
Allow: /cgi-bin/　  这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp    这里定义是允许爬寻tmp的整个目录
Allow: .htm$    仅允许访问以".htm"为后缀的URL。
Allow: .gif$    允许抓取网页和gif格式图片
Sitemap:网站地图    告诉爬虫这个页面是网站地图

 

解：
1.首先利用URL访问该网页的robots.txt文件
 url/robots.txt
   结果显示为：
 User-agent: *
 Disallow:
 Disallow: f1ag_1s_h3re.php
   取得关键性消息，禁止网页爬虫爬取f1ag_1s_h3re.php文件
2.利用URL访问该文件得出Flag

 

 

部分内容节选自百度百科：
https://baike.baidu.com/item/robots协议/2483797?fr=aladdin