TCP/IP和HTTP协议代理

Posted 2020-10-07

TCP/IP协议族

TCP/IP(传输控制协议/网际协议)是用于计算机通信的一个协议族。

TCP/IP协议族包括诸如Internet协议(IP)、地址解析协议(ARP)、互联网控制信息协议(ICMP)、用户数据报协议(UDP)、传输控制协议(TCP)、路由信息协议(RIP)、Telnet、简单邮件传输协议(SMTP)、域名系统(DNS)等协议。

1. 应用层 应用层包含一切与应用相关的功能，我们经常使用的HTTP、FTP，Telnet、SMTP等协议都在这一层实现。

2. 传输层 传输层负责提供可靠的传输服务。在该层中，典型的协议是TCP(Transmission Control Protocol)和UDP(User Datagram Protocol)。其中，TCP提供可靠、有序的，面向连接的通信服务;而UDP则提供无连接的、不可靠用户数据报服务。

3. 网际层 网际层负责网络间的寻址和数据传输，在该层中，典型的协议是IP(Internet Protocol)。

4. 网络接口层 最下面一层是网络接口层，负责数据的实际传输.网络接口层在发送端将上层的IP数据报封装成帧后发送到网络上;数据帧通过网络到达接收端时，该结点的网络接口层对数据帧拆封，并检查帧中包含的MAC地址。如果该地址就是本机的MAC地址或者是广播地址，则上传到网络层，否则丢弃该帧。

 

图1 TCP/IP协议栈

HTTP是一个客户端终端(用户)和服务器端(网站)请求和应答的标准(TCP)。通过使用Web浏览器、网络爬虫或者其它的工具，客户端发起一个HTTP请求到服务器上指定端口(默认端口为80)。我们称这个客户端为用户代理程序(user agent)。应答的服务器上存储着一些资源，比如html文件和图像。我们称这个应答服务器为源服务器(origin server)。在用户代理和源服务器中间可能存在多个中间层，比如代理，网关，或者隧道(tunnel)。

尽管TCP/IP协议是互联网上最流行的应用，HTTP协议中，并没有规定必须使用它或它支持的层。事实上，HTTP可以在任何互联网协议上，或其他网络上实现。HTTP假定其下层协议提供可靠的传输。因此，任何能够提供这种保证的协议都可以被其使用。因此也就是其在TCP/IP协议族使用TCP作为其传输层。

通常，由HTTP客户端发起一个请求，创建一个到服务器指定端口(默认是80端口)的TCP连接。HTTP服务器则在那个端口监听客户端的请求。一旦收到请求，服务器会向客户端返回一个状态，比如"HTTP/1.1 200 OK"，以及返回的内容，如请求的文件、错误消息、或者其它信息。

图2 组成元素

如图，web服务器接入于公网，ip地址为61.155.154.42， url为www.demo.com。 资源文件包括index.html，index.js，index.css，others位于服务器的虚拟根目录下，index.html索引文件index.js，index.cs

若用户在浏览器的地址栏中输入www.demo.com并回车键确认，则将触发以下流程：

· 浏览器所在客户端主机通过DNS查询，获取www.demo.com所对应的ip地址，并作为客户端与该ip地址对应的服务端建立http连接

· 浏览器向服务器发起http根请求，浏览器从本机取出根文件index.html并回应浏览器

· 浏览器从根请求回应中解析index.html文件中所引入的资源文件列表index.js，index.css等文件

· 浏览器再次分别向服务器发起index.js，index.css等文件请求

· 浏览器获取所有文件之后，解析渲染出所有资源文件，提供ui接口给用户

图4 资源获取流程

http代理服务器即是一个http协议的中继。其所完成的任务是插入浏览器与服务器之间的通信，截获浏览器的http请求，并模拟浏览器向服务器发起http请求，并把服务器的http回应，转回应于浏览器。这个动作对应浏览器来说，是透明的，

但是对于开发者来说，可以在代理服务器上做手脚，修改双向的报文。可以通过两种方式来实现http代理，其一为应用程序代理，其二tcp代理，其特征分别为：

应用层代理，浏览器与代理服务器，代理服务器与服务器两个通信组队之间，分别建立tcp连接，并进行tcp数据传输。代理服务器与浏览器握手之后，截获浏览器发出的GET报文，获取HOST字段与服务器握手，并把GET报文进行处理之后，转发给服务器，等待服务器的回包，并转发给浏览器。整个流程可以在应用层完成。

可以看出代理服务器对客户端上来的GET报文有修改

1、HTTP/1.1修改为HTTP/1.0, 这样修改有两个作用，服务器对HTTP/1.0请求的回应报文没有Content-Length, 或CHUNCK的标示，而这两个标示与应用程序数据的长度相关，如果采用HTTP/1.1的请求，则在修改服务器的回包之后(回包长度发生变化)，需要重新修改Content-Length或CHUNCK两个属性的值，而这两个值的修改增加了开发的难度;

2、服务器对HTTP/1.0回应不会保持长连接，即图中服务器响应index.html之后，tcp连接关闭，这样对于代理软件来说，软件容易稳定，降低了开发难度。

TCP层代理

? TCP报文插入

在TCP层做报文注入，涉及到了修改报文双向sequence, ack-sequence值的问题。原因在于seq值与ack值与实际报文长度相关，如果修改了报文长度，显然需要修改seq, ack值：

图6 TCP之SEQ与ACK

? TCP层代理报文插入

如图7所示，代理需要维护两个状态机，收到服务端带fin报文的数据包之后，和服务端完成结束握手;同时去除fin报文的fin标志，把改报文发给浏览器，同时完成和浏览器的报文插入以及结束握手：

图7 TCP之SEQ与ACK

? TCP层代理状态机

1. Eth0收到http报文的结束帧(带fin)

2. 代理去掉fin标志

3. 代理插入一段报文，并加上fin标志

4.浏览器对原始的http结束报文回应fin：

问题：看起来服务器到浏览器的fin报文，并没有被代理扔掉，故而浏览器收到了两帧fin报文。