使用Fiddler分析Youtube访问协议

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用Fiddler分析Youtube访问协议相关的知识,希望对你有一定的参考价值。

1 原理
  我们做很多事情都离不开原理二字,只有懂得了背后的原理,才能把事情做到极致。本文意在向一个初学者展示如何分析访问一个https网站时的流量,作者也是一只流量分析的入门和初学者,实属菜鸟,有错误之处,敬请指正。从所周知,从在浏览器中输入一个网站的domain并按下回车键后,浏览器需要经历DNS解析->发送request->等待response这样一个过程,中间或许会夹杂一些网站回复的304等重定向和再次发图片request等步骤,但整体流程如此。无论是对HTTP还是对HTTPS网站的流量进行分析,首先都必须截获流量,这类工具有很多,比如常用的就有Wireshark和Fiddler。由于HTTPS网站的流量都是经过非对称加密的,所以若想解密,就得找到浏览器与网站之间协商的加密密钥。就技术而言,破解协商的密钥比较困难,好在HTTPS连接的建立是一个复杂的过程。哲学上讲,越是复杂的东西功能就越强大,但同时也就越脆弱。于是我们就可以采用常见的MITM(Man in the middle,中间人攻击)来破解HTTPS流量了。
 
2 Fiddler
  Fiddler是一个HTTP协议调试代理工具,它能够记录并检查所有与互联网站之间的HTTP通讯。另外,它还在本地建立一个简易的proxy并生成自己的证书系统,采用MITM的方式对HTTPS流量进行解密,这对我们分析Youtube网站的访问流量提供了极大的方便(需要手动打开https解密选项)。
  这里简单的介绍一下Fiddler的使用,若想详细了解Fiddler的强大功能,可以自行搜索相关教程。Fiddler的主界面如下:
技术分享
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
工欲善其事,必先利其器。这里先对各个功能按键做一个介绍:
-- Stream: 这里设置的是Fiddler的工作模式,Fiddler支持Stream和Buffering两种模式。Stream模式下会实时地将浏览器与网站之间的流量包逐一列出来,直到网站处理完毕。Buffering模式下则会等到网站处理完毕后再把流量包列出来。
-- Decode:顾名思义,对所有的流量包数据进行解码,这里值得一提的是,就就是HTTPS流量也可以成功解码。Fiddler真心强大,而且使用起来方便,都不用自己配置浏览器证书。
-- Browse : 这里选择捕获流量的目标浏览器,可以是Firefox,Chrome等。这对过滤某个浏览器的流量包太有用处了。
-- Inspectors: 将每个流量数据包都解析成request和response.如上图所示,上半部分显示的是浏览器发送的request,下半部分是网站的response.
-- Capturing : 显示Capturing时才会捕捉流量,否则不捕捉。
 
3 Youtobe首页数据包分析
  从google搜索的结果中点击Youtobe的链接将会访问Youtube的首页,捕捉到的流量如下所示:
技术分享
  可以在左侧的红色方框内看到访问的host是www.youtube.com,而URL是‘/‘,这表示的是网站的首页。在Inspector标签页可以清晰地看到对应的request和response。
 
3.1 首页request分析
  这里选择 Raw,表示查看request的原始数据,截图如下:
技术分享
从上图可以看到,除了Raw还有许多其他的标签页。这些标签页并不对request做任何修改,只是把request按照不同的格式需要解析并显示出来。这里对request的每一行进行说明:
-- 第一行 : 说明当前访问的方法为 GET, URL为:https://www.youtube.com/, 使用HTTP的版本是 1.1。
-- Host: 指明接收request的服务器的主机名和端口号,http是80,https是443。
-- Connection: 这里是告诉服务器可以使用的与request/response连接有关的选项。
-- Upgrade-Insecure-Requests: 告诉服务器端自己支持将http升到https并且在以后的发送request中均使用https。
-- User-Agent : 告诉服务端发起request的应用程序名称和一些平台,系统等信息。
-- X-Chrome-UMA-Enabled : 与chrome浏览器有关。
-- X-Client-Data : 与chrome浏览器有关。
-- Accept: 告诉服务端在此request的response中能包含的媒体类型。
-- Referer : 提供包含当前请求URI的文档的URL,这里是从google搜索出来的。
-- Accept-Encoding : 告诉服务端自己支持哪些编码方式。
-- Accept-Language : 告诉服务端自己支持哪些语言。
-- Cookie: 告诉服务端一些关于Session的信息。
 
分析报文得知,访问Youtube时发送的是GET请求,由于是首页,无需要携带任何参数等信息。
 
3.2 首页response分析
  这里同样选择 Raw,查看response的原始数据,截图如下:
技术分享
-- 第一行 : 表示response的状态码
-- Content-Type : response中实体的数据类型,这里指明类型为采用utf-8编码的text/html
-- Cache-Control : 随报文传送用于指示是否缓存。
-- Strict-Transport-Security : 通知浏览器禁止使用HTTP加载数据,而要用HTTPS。后跟的参数指定在接下来的多长时间内保持这一行为。
-- X-Content-Type-Options : 通常浏览器依据response头中的content-type来分辨响应的类型,但是当有些资源的content-type是错误的或者是未定义的时候,有些浏览器就会启用MIME-sniffing来猜测资源的类型,解析内容并执行。这容易被攻击者所利用,于是可以通过这个选项禁用浏览器的猜测行为。值只能为nosniff
-- Expires : response实体的有效期。
-- X-XSS-Protection : 为1时启动XSS攻击(跨站脚本攻击),当用户关闭时可以防止被XSS攻击。
-- Date: response产生的日间戳。
-- Server : 服务端应用程序软件的名称和版本等信息。
-- Alt-Svc :
-- Content-Length : response实体的长度。
到这里,我们已经分析了访问Youtube首页的request和response。大部分内容都是与HTTP协议相关的,而且没有复杂的方法。接下来我们分析下在Youtube中按关键字查找视频时的协议数据包是怎样的。
 
4 关键字查询分析
  触发场景如下:在已经打开的Youtube网页的搜索栏中输入“骑行”二字,然后按下回车键,截图如下:
技术分享
  接下来分析一下这个过程中抓取到的数据包。截取的数据流如下:
技术分享
 
  先看第一个数据包,让人奇怪的是,在Youtube上输入“骑行”后还没有按下回车键浏览器就发送了一个request到clients.1.google.com。查看一下这次交互的内容就知道它究竟在干什么了。
 
技术分享
技术分享
  从上2图来看,在输入“骑行”后,浏览器发送一个查询请求到google查询与输入内容相匹配的热度查询关键字组合有哪些并返回。从response来看,返回了6个热度最高的关键字组合,与页面上显示的结果一致。
  第二个数据包,仍然是发送google,不过这次发送的请求如下:
技术分享
 
  并没有什么内容返回,具体原因不明,估计是刚刚查询过这个关键字,client端已经获取到内容,无需再次搜索查询。
  第三个数据包是由Youtube服务的,数据解析如下:
技术分享
  从request可以看出,此时搜索“骑行”的方法为:GET,URL为: https://www.youtube.com/results?search_query=%E9%AA%91%E8%A1%8C&spf=navigate
  搜索的关键字信息如下:
技术分享
  response是一个json结构,其中包含每个资源的获取URL。于是从抓的包来看,从第4行开始都是去ytimg.com获取资源的request。解析各个request得到的response,如果是图片资源的话,可以从ImageView中看到网页展示的图片资源。如下:
技术分享
 
5 点击视频数据分析
  经过了上面操作后,现在页面上已经罗列出了按关键字查询出来的视频列表,随机选一个视频后获取视频的title和description信息。
技术分享
按关键字“骑行26天”搜索所有的response数据包,可以搜索出2个交互里是含有视频title信息。这其中就包含有视频的title和description等信息。
 
6 总结
  这篇文章只是一个网站访问数据解析初学者的总结所得。得力于Fiddler的强大才使得分析起来如此容易。再次验证了那句古话:君子,性非异也,善假于物也!有错误之处,敬请指正。
技术分享
技术分享

以上是关于使用Fiddler分析Youtube访问协议的主要内容,如果未能解决你的问题,请参考以下文章

计网之HTTP协议和Fiddler的使用

Wireshark和Fiddler分析Android中的TLS协议包数据(附带案例样本)

HTTP协议和Fiddler

HTTP协议和Fiddler

HTTP协议和Fiddler

linux搭建svn支持svn协议和http协议