数据挖掘http请求头中Referer的含义和作用

Posted 2021-05-24 兔子爱读书

Referer  是 HTTP  请求header的一部分，当浏览器（或者模拟浏览器行为）向web服务器发送请求的时候，头信息里有包含 Referer  。比如我在www.google.com 里有一个www.baidu.com 链接，那么点击这个www.baidu.com ，它的header 信息里就有：

    Referer=http://www.google.com

由此可以看出来吧。它就是表示一个来源。看下图的一个请求的 Referer  信息。

 

这里有一个小问题要说明下。

Referer  的正确英语拼法是referrer。由于早期HTTP规范的拼写错误，为了保持向后兼容就将错就错了。其它网络技术的规范企图修正此问题，使用正确拼法，所以目前拼法不统一。还有它第一个字母是大写。

Referer的作用？

0.页面统计 

(　　什么是盗链呢？假设一个网站的首页中想显示一些图片信息，而在该网站的服务器中并没有这些图片资源，它通过在html文件中使用img标记链接到其他网站的图片资源，将其展示给浏览者，这就是盗链。盗链的网站提高了自己的访问量，却加重了被链接网站服务器的负担，损害了其合法利益。所以，一个网站为了保护自己的资源，可以通过Referer头检测出从哪里链接到当前的网页或资源，一旦检测到不是通过本站的链接进行的访问，可以进行阻止访问或者跳转到指定的页面。)

1.防盗链。

刚刚前面有提到一个小 Demo  。

我在www.google.com里有一个www.baidu.com链接，那么点击这个www.baidu.com，它的header信息里就有：

 

那么可以利用这个来防止盗链了，比如我只允许我自己的网站访问我自己的图片服务器，那我的域名是www.google.com，那么图片服务器每次取到Referer来判断一下是不是我自己的域名www.google.com，如果是就继续访问，不是就拦截。

这是不是就达到防盗链的效果了？

将这个http请求发给服务器后，如果服务器要求必须是某个地址或者某几个地址才能访问，而你发送的referer不符合他的要求，就会拦截或者跳转到他要求的地址，然后再通过这个地址进行访问。

2.防止恶意请求。

比如静态请求是*.html结尾的，动态请求是*.shtml，那么由此可以这么用，所有的*.shtml请求，必须 Referer  为我自己的网站。

 

空Referer是怎么回事？什么情况下会出现Referer?

首先，我们对空 Referer  的定义为， Referer  头部的内容为空，或者，一个 HTTP  请求中根本不包含 Referer  头部。

那么什么时候 HTTP  请求会不包含 Referer  字段呢？根据Referer的定义，它的作用是指示一个请求是从哪里链接过来，那么当一个请求并不是由链接触发产生的，那么自然也就不需要指定这个请求的链接来源。

比如，直接在浏览器的地址栏中输入一个资源的URL地址，那么这种请求是不会包含 Referer  字段的，因为这是一个“凭空产生”的 HTTP  请求，并不是从一个地方链接过去的。

那么在防盗链设置中，允许空Referer和不允许空Referer有什么区别？

允许 Referer  为空，意味着你允许比如浏览器直接访问，就是空。

空的情形

作者：空口言_1d2e
链接：https://www.jianshu.com/p/8f485bf6c127
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。