玩转接口测试 & 性能测试 之 必备基础知识：Web协议

Posted 2021-04-24 简尚

通过抓包的方式分析 Web 网络协议，是大部分工程师应该掌握的技能。不光是研发和设计的时候对协议层知根知底，系统出了问题，还需要去细细分析各种协议和报文信息，查找引发问题的原因。不过我发现，很多技术人在实际工作中都会遇到类似问题：

1、AJAX 跨域访问时总被浏览器的同源策略阻止，其背后的原理及符合其设计思想的解决方案是什么？
2、缓存可以提升性能，但什么样的 HTTP 消息才会被浏览器或者代理服务器缓存呢？
3、抓包时收到 4xx 或者 5xx HTTP响应码，这意味着服务器端发生了什么？
4、当我们维护 HTTPS 连接时，如果要优化 TLS/SSL 的卸载性能，应该从哪里入手？
5、定位问题时，发现本地的 TCP 连接状态中出现了 FIN_WAIT、CLOSE_WAIT 或者 TIME_WAIT，都是什么原因引起的？应该如何解决？
6、想要提升 TCP 连接的传输速度，可服务器上相关的系统参数多达数十个，究竟该怎么调整？
7、时下逐渐普及的 IPv6，在报文上到底与 IPv4 协议有何差别？

你会发现，这些问题其实都和 Web 协议密切相关。我常常听到身边人抱怨“学不动了”，之所以会这样，大多是因为没有掌握好互联网体系中的底层知识。这些知识点相对稳定，而其他时刻变化的知识点是构建在这些知识点之上的。一旦掌握好，就可以长久使用，并且保持快速学习的能力。

Web 协议就是其中非常重要的一个模块。虽然它常常要兼容 internet 中非常古老或者有着突破性创新的浏览器或者服务器，从而也在时刻进化，但只要我们抓住它设计时背后的指导原则，系统地将 Web 协议转化为我们头脑中的结构体知识，就可以对我们学习前后端开发框架、面向连接的编程语言、各种分布式组件、架构设计、微服务编程等都起到事半功倍的效果。

可以说，无论你是前后端工程师、测试工程师，还是运维测试，如果想面试更高的职位，或者要站在更高的角度去理解技术业务架构，并能在问题出现时快速、高效地解决问题，Web 协议一定是你绕不过去的一道坎。熟练掌握各种常用 Web 协议，可以帮你在工作中轻松应对各种网络难题。

1、如果你是前端工程师，可以快速定位问题的根源在后端还是前端，对网页性能的提升会有更多的思路。

2、如果你是后端工程师，可以更清晰地理解Web容器的工作原理，在网络层面快速缩小问题范围。

3、如果你是运维工程师，可以更明确地规划硬件及网络资源，对于故障节点的恢复也会有更系统的解决方案。

4、如果你是测试工程师，可以对压测工具的原理有更深入的理解，对自动化测试原理有更深入的了解，对RPC测试用例的构造也会更全面。

5、如果你是架构师，将会对分布式系统下的高可用架构设计和性能优化等问题有更加体系化的认识。

可是，想要真正掌握 Web 协议，并没有想象中那么容易。我发现大部分人在学习时，都卡在下面这些问题上：

1、Web协议的体系庞大，大多概念过于抽象，导致初学者很容易从入门到放弃。
2、很难快速上手，就算弄懂了复杂的概念，工作中一遇到复杂问题，还是一头雾水，不知道如何下手。
3、网上有很多文章可以参考，但要不就是知识点零散，要不就是解释得蜻蜓点水，无法深入到底层。
4、市面上相关的课程很少，要不就是仅仅讲述某一个协议，要不就是只从理论出发来讲解，实战性不强。

除此之外，很少有人会在文章或课程里通过抓包去把 Web 协议的各个细节呈现出来，然后掰开揉碎了讲给大家。基于此，我推荐你陶辉老师在极客时间开的《Web 协议详解与抓包实战》视频课，完全从实战出发，在关键场景中结合抓包工具进行实战分析，为你深入浅出地讲解常见 Web 协议涉及到的核心知识，并彻底掌握这些协议。

陶辉是谁？

陶辉，现在是智链达 CTO。他曾担任阿里云高级专家，也在华为、腾讯、思科等公司从事过服务器端的研发工作。相信陶辉来讲 Web 协议详解与抓包实战，一定会带给你不一样的收获。为什么这么说？

1、在华为他负责 iMAP 网管系统的研发，在通过 SNMP 等协议管理众多网络设备的过程中，对路由器交换机如何处理协议栈、选择路由、转发报文等流程有了深入的理解；

2、在腾讯QQ空间，通过使用自定义的、基于 TCP 的 Qzone 协议传递巨量的数据，他对如何设计出高性能、可扩展的应用协议有了丰富的实践经验；

3、在思科他从事 nginx 服务的研发，对 Web 服务器如何高效地处理 HTTP 协议有了全面的认识；

4、在阿里云作为 VPC 软件自定义网络项目中的管理系统架构师，他通过基于 Intel DPDK 自建网关、自定义网络层协议等工作，对 IDC 内部网络系统有了深刻了解。

在《Web 协议详解与抓包实战》视频课中，陶辉老师会把自己十几年积累的第一手经验毫无保留地分享给大家。

如果不确定对自己是否有用的，建议看看如下视频：

你能获得什么？

陶辉老师会跟你一起从应用层到底层，通过具体问题和场景来学习 Web 协议。具体来说，你可以有下面 4 点收获。

1. 深入理解常用 Web 协议

课程将基于应用场景深入介绍Web协议栈中最常用的HTTP/1.1、Websocket、HTTP/2.0、TLS/SSL、TCP、IP协议，这些协议处在 OSI 网络栈中的不同层级，每一层对上层协议封装、隐藏其下层协议的实现细节，而上层协议必须理解其相邻下层协议解决了什么问题，有哪些约束条件。陶辉老师会带你自上而下的学习这些协议的语法、应用场景，以建立起结构体的知识体系。

2. 快速定位和解决网络疑难杂症

网络问题最为复杂，它涉及到多样化的客户端、技术相对封闭的网络设备、层层可能修改消息的代理服务器、快速迭代中的源服务器等，当客户端与服务器由于编程、配置错误造成系统故障时，相比在某一端使用经验式的排除法查错，从网络层面定位问题更为科学、快速而有效。

3. 掌握常见抓包工具及报文分析方法

陶辉老师会配合抓包实践来带你深入了解协议细节。关于抓包工具的学习，则会遵循“即用即学”的原则，用到什么学什么，让你快速上手。

对于HTTP报文的抓包实践，主要使用 Chrome 浏览器提供的开发者工具 Network 面板，同时也将使用到 curl、telnet 命令行来模拟 HTTP 请求的发送。Wireshark是这门课程的主要抓包工具，包括过滤器、各面板的使用、如何基于统计分析报文等。对于服务器端的抓包我们会使用 tcpdump工具，并配合 Wireshark 分析报文。

4. 熟悉 Web 协议的架构和设计原则

HTTP 最初用于解决人与机器的通讯，了解指导其设计原则的REST架构，就能理解在空间上它如何应对全球性的巨型分布式网络，在时间上如何应对数十年的技术变迁。

在分层架构下各层都有其待解决的核心问题，TLS/SSL协议面对的是如何使用非对称加密协商密钥及验证身份，TCP协议面对的则是可控流量下的可靠传输，IP协议则关注报文在主机间的可达性，带着这些需求及约束，便可从容应对变化。

你的学习收获：

1、深入理解常用 Web 协议
2、快速定位和解决网络疑难杂症
3、掌握常见抓包工具及报文分析方法
4、玩转自动化测试 & 性能测试 ，并且熟悉 Web 协议的架构和设计原则

限时订阅福利

1.限时优惠 ¥99（原价¥129），另外，新用户还能获得 5 元优惠券，购买专栏更便宜（此专栏，是视频课程；可以跟着视频，一步步实操；已更新10节，总共83节；全部课程预计 8 月初更新完毕。）

2. 通过此文报名的，可以微信找老徐，进群交流。

扫码直接报名，看视频

IDO老徐，注：

这两年，推荐过很多极客时间的专栏，每一次的新专栏，都没有让我们失望，质量非常赞 。

对于，每次上新的专栏，只要老徐认为，对大家有价值的，都会毫不犹豫的推荐 。

曾经推荐的专栏，如下：

希望，此次推荐的专栏，对大家有用 。

任何问题，可以微信957863300找老徐

曾经的相关文章：