Python网络编程4--实现IP分片与网络路径MTU探测

Posted 2023-04-22

参考技术A 实验拓扑如下，linux向R2发送IP分片，并在R2接口上抓包。

  ICMP包校验和是连通头部信息加数据本身一起进行校验（ip包只需要校验头部信息）而Scapy自动添加ICMP校验和时只会计算第一分片的数据，当三个分片到达目标主机进行重组后校验不通过，将重组后的数据包丢弃；因此在手动设置IP分片时，需要手动将校验和添加入ICMP首部中。
由于手动计算校验和过程较复杂，可通过wireshark抓包，可以获取到正确的校验和。

抓包结果如下，由于单个数据包长度超过MTU,系统自动将ICMP request包分片发送，同样的ICMP reply系统也进行了分片。

  当主机发送分组的长度超过MTU又不可以分片（IP flags位DF置1），则这个分组丢弃，并用ICMP差错报文向主机报告。

参考：( https://fasionchan.com/network/ip/fragmentation/ )

TCP/IP协议簇之网络层

文章目录

• 网络层
• • IP协议
  • • 基本概念
    • 协议头格式
    • IP中的分片
    • • 分片与组装的需求
      • 如何分片与组装
    • 路径MTU发现
    • 网段划分
    • 特殊的IP地址
    • IP地址的数量限制
    • 私有IP地址和公网IP地址
    • 路由
• NAT技术
• • NAT技术背景
  • NAT IP转换过程
  • NAPT
  • NAT技术的缺陷
  • NAT和代理服务器

网络层

在复杂的网络环境中确定一个合适的路径

IP协议

基本概念

主机: 配有IP地址, 但是不进行路由控制的设备; 路由器: 即配有IP地址, 又能进行路由控制; 节点: 主机和路由器的统称;

IP协议给通信双方提供了一种能力，从A主机将数据跨网络送到B主机的能力。
但IP协议不保证可靠性，IP包丢了由上层的TCP重发。

协议头格式

IP协议报头的长度是20个字节+选项长度。

• 4位版本号(version): 指定IP协议的版本, 对于IPv4来说, 就是4.而IPv6就是6
• 4位首部长度(header length): IP头部的长度是多少个32bit(1字节), 也就是 length * 4 的字节数. 4bit长度表示最大的数字是15, 因此IP头部最大长度是60字节.
• 8位服务类型(Type Of Service): 3位优先权字段(已经弃用), 4位TOS字段, 和1位保留字段(必须置为0). 4位TOS分别表示: 最小延时, 最大吞吐量, 最高可靠性, 最小成本. 这四者相互冲突, 只能选择一个. 对于ssh/telnet这样的应用程序, 最小延时比较重要; 对于ftp这样的程序, 最大吞吐量比较重要.
• 16位总长度(total length): IP数据报整体占多少个字节，即报头+正文的长度。所以正文长度为16位总长度-4位首部长度
• 16位标识(id): 唯一的标识主机发送的报文. 如果IP报文在数据链路层被分片了, 那么每一个片里面的这个id都是相同的.
• 3位标志字段: 第一位保留(保留的意思是现在不用, 但是还没想好说不定以后要用到). 第二位置为1表示禁止分片, 这时候如果报文长度超过MTU, IP模块就会丢弃报文. 第三位表示"更多分片", 如果分片了的话,该位为1表示后面还有分片，且最后一个分片该位置为0, . 类似于一个结束标记(可以与字符串联系起来记忆).
• 13位分片偏移(framegament offset): 是分片相对于原始IP报文开始处的偏移. 其实就是在表示当前分片在原报文中处在哪个位置. 实际偏移的字节数是这个值 * 8 得到的. 因此, 除了最后一个报文之外, 其他报文的长度必须是8的整数倍(否则报文就不连续了).
• 8位生存时间(Time To Live, TTL): 数据报到达目的地的最大报文跳数. 一般是64. 每次经过一个路由, TTL -= 1, 一直减到0还没到达, 那么就丢弃了. 这个字段主要是用来防止出现路由循环。生存时间是必须存在的，不然网络上会有大量的流浪IP包。比如IP包发出后，发送端和接收端都关闭了，该IP包就成了流浪包，生存时间结束了它也就被丢弃了。
• 8位协议: 表示上层协议的类型
• 16位头部校验和: 使用CRC进行校验, 来鉴别头部是否损坏。IP检验只需要校验头部，数据内容由TCP校验。
• 32位源地址和32位目标地址: 表示发送端和接收端.
• 选项字段(不定长, 最多40字节): 略

IP中的分片

首先我们了解一个概念：mtu。它是IP下一层的网卡/MAC帧所能承受的最大载荷，也就是数据链路层有效载荷的大小，不包括报头。

我们可以通过ifconfig命令查看该值：

分片与组装的需求

如果IP数据包的大小超过了mtu，就要求IP协议对数据包进行分片处理，也就是将一个大的数据包，分成几个大小不超过mtu的小数据包，再重新发送。
注意：每个小数据包还是需要IP报头的。

既然我们对TCP传下来的一个数据包进行了分片，那么对端的TCP层收到的肯定也要是一个数据包，这就要求对端的IP层对分片进行组装，然后再将完整的数据包发给上层的TCP。

如何分片与组装

怎么判断一个数据包是否是经过分片的？怎么识别同一个数据包的分片？怎么组装分片？

在IP协议报头中，有一个13位片偏移，它就是用来组装的，如下图解释：

那么，知道如何组装后，我们就要将同一个数据包的分片进行识别，IP协议报头中的16位标识就是用来识别的，如果分片的16位标识相同，说明这些分片是属于同一个数据包的。

回到第一个问题，怎么判断一个数据包是不是分片？
首先，IP协议报头中有一个3位标志，它的第一位暂时不用，第二位用来标识这个数据包能否被分片，第三位，叫做更多分片位，就是用来标识该数据包之后是否还有分片，有就是1，没有就是0。同时也能解决，我们如何判断是否将数据组装完成，当该位为0时，就说明数据包已经组装完成。但是，仅靠这一个是不够的，因为如果不是分片，它的这一位也为0，但我们之前讲了一个13位片偏移，如果这个偏移量不为0，就说明它是一个分片。但第一个分片的偏移量也为0，就用3位标志来判断他是一个分片。这样，我们就能判断一个数据包是不是分片了。
总结：13位片偏移不为0或3位标志的更多分片位为1，表示该数据包是分片。

分片与组装的过程：先判断它是不是一个分片，再通过16位标识将同一个数据包的分片把他们放在一起，最后可以通过排序来将分片组装。组装完需要检测是否丢包。

注意：分片丢了，TCP是不会知道丢了分片的，TCP重发只会将整个数据包进行重发，所以我们要避免分片的丢包。

路径MTU发现

为了解决分片丢失而造成的整个TCP数据包重发的问题，TCP的初期设计还曾使用过更小的分片进行传输，其结果是网络的利用率明显下降。

为了应对该问题，产生了一种新的技术：路径MTU发现(Path MTU Discovery)。所谓路径MTU发现是指从发送端主机之间不需要分片时最大MTU大小。即路径中存在的所有数据链路中最小的MTU。而路径MTU发现从发送主机按照路径MTU发现的大小将数据报分片后进行发送。进行路径MTU发现，就可以避免在中途的路由器上进行分片处理，也可以在TCP中发送更大的包。

路径MTU发现的工作原理如下：

• 在发送端主机发送IP数据报时将其首部的分片禁止标志位设置为1。根据这个标志位，途中的路由器即使遇到需要分片才能处理的大包，也不会去分片，而是将包丢弃。
• 通过一个ICMP的不可达消息将数据链路上的MTU的值给发送主机。
• 下一次，从发送给同一个目标主机的IP数据报获得ICMP所通知的MTU值以后，将它设置为当前的MTU。发送主机根据这个MTU对数据报进行分片处理。如此反复，直到数据报被发送到目标主机为止没有再收到任何ICMP，就认为最后一次ICMP所通知的MTU即是一个合适的MTU值。那么，当MTU的值比较多时，最少可以缓存约10分钟。在这10分钟内使用刚刚求得的MTU，但过了这10分钟以后则重新根据链路上的MTU做一次路径MTU发现。

UDP的情况下：

前面是UDP的例子。那么在TCP的情况下，根据路径MTU的大小计算出最大段长度(MSS)，然后再根据这些信息进行数据报的发送。因此，在TCP中如果采取路径MTU发现，IP层则不会再进行分片处理。

TCP的情况下：

网段划分

路由查找，是先查找到目标网络，再查找目的主机。

IP地址分为两个部分, 网络号和主机号

• 网络号: 保证相互连接的两个网段具有不同的标识;
• 主机号: 同一网段内, 主机之间具有相同的网络号, 但是必须有不同的主机号;

• 不同的子网其实就是把网络号相同的主机放到一起.
• 如果在子网中新增一台主机, 则这台主机的网络号和这个子网的网络号一致, 但是主机号必须不能和子网中的其他主机重复.

通过合理设置主机号和网络号, 就可以保证在相互连接的网络中, 每台主机的IP地址都不相同.
那么问题来了, 手动管理子网内的IP, 是一个相当麻烦的事情.

• 有一种技术叫做DHCP, 能够自动地给子网内新增主机节点分配IP地址, 避免了手动管理IP的不便.
• 一般的路由器都带有DHCP功能. 因此路由器也可以看做一个DHCP服务器.

过去曾经提出一种划分网络号和主机号的方案, 把所有IP 地址分为五类, 如下图所示

• A类 0.0.0.0到127.255.255.255
• B类 128.0.0.0到191.255.255.255
• C类 192.0.0.0到223.255.255.255
• D类 224.0.0.0到239.255.255.255
• E类 240.0.0.0到247.255.255.255

随着Internet的飞速发展,这种划分方案的局限性很快显现出来,大多数组织都申请B类网络地址, 导致B类地址很快就分配完了, 而A类却浪费了大量地址;

• 例如, 申请了一个B类地址, 理论上一个子网内能允许6万5千多个主机. A类地址的子网内的主机数更多.
• 然而实际网络架设中, 不会存在一个子网内有这么多的情况. 因此大量的IP地址都被浪费掉了.

针对这种情况提出了新的划分方案, 称为CIDR(Classless Interdomain Routing):

• 引入一个额外的子网掩码(subnet mask)来区分网络号和主机号;
• 子网掩码也是一个32位的正整数. 通常用一串 “0” 来结尾;
• 将IP地址和子网掩码进行 “按位与” 操作, 得到的结果就是网络号;
• 网络号和主机号的划分与这个IP地址是A类、B类还是C类无关

可见,IP地址与子网掩码做按位与运算可以得到网络号, 主机号从全0到全1就是子网的地址范围;
IP地址和子网掩码还有一种更简洁的表示方法,例如140.252.20.68/24,表示IP地址为140.252.20.68, 子网掩码的高24位是1,也就是255.255.255.0

感性地理解路由转发IP给对应的主机：一个路由器中的路由表保存了多个网段的网络号，当路由器收到了一个IP地址后，将其与子网掩码按位与获取网络号，发送到对应的网段中，再根据主机号发送到对应主机。

特殊的IP地址

• 将IP地址中的主机地址全部设为0, 就成为了网络号, 代表这个局域网;
• 将IP地址中的主机地址全部设为1, 就成为了广播地址, 用于给同一个链路中相互连接的所有主机发送数据包;
• 127.*的IP地址用于本机环回(loop back)测试,通常是127.0.0.1

IP地址的数量限制

我们知道, IP地址(IPv4)是一个4字节32位的正整数. 那么一共只有 2的32次方 个IP地址, 大概是43亿左右. 而TCP/IP协议规定, 每个主机都需要有一个IP地址.

这意味着, 一共只有43亿台主机能接入网络么?
实际上, 由于一些特殊的IP地址的存在, 数量远不足43亿; 另外IP地址并非是按照主机台数来配置的, 而是每一个网卡都需要配置一个或多个IP地址.

CIDR在一定程度上缓解了IP地址不够用的问题(提高了利用率, 减少了浪费, 但是IP地址的绝对上限并没有增加), 仍然不是很够用. 这时候有三种方式来解决:

• 动态分配IP地址: 只给接入网络的设备分配IP地址. 因此同一个MAC地址的设备, 每次接入互联网中, 得到的IP地址不一定是相同的;
• NAT技术(后面会重点介绍);
• IPv6: IPv6并不是IPv4的简单升级版. 这是互不相干的两个协议, 彼此并不兼容; IPv6用16字节128位来表示一个IP地址; 但是目前IPv6还没有普及;

私有IP地址和公网IP地址

如果一个组织内部组建局域网,IP地址只用于局域网内的通信,而不直接连到Internet上,理论上 使用任意的IP地址都可以,但是RFC 1918规定了用于组建局域网的私有IP地址。

私有ip的三种格式：

• 10.* ,前8位是网络号,共16,777,216个地址
• 172.16.到172.31.,前12位是网络号,共1,048,576个地址
• 192.168.*,前16位是网络号,共65,536个地址
  包含在这个范围中的, 都成为私有IP, 其余的则称为全局IP(或公网IP);

这些地址是不会被Internet分配的，它们在Internet上也不会被路由，虽然它们不能直接和Internet网连接，但通过技术手段仍旧可以和 Internet通讯（NAT技术）。我们可以根据需要来选择适当的地址类，在内部局域网中将这些地址像公用IP地址一样地使用。

• 一个路由器可以配置两个IP地址, 一个是WAN口IP, 一个是LAN口IP(子网IP).
• 路由器LAN口连接的主机, 都从属于当前这个路由器的子网中.
• 不同的路由器, 子网IP其实都是一样的(通常都是192.168.1.1). 子网内的主机IP地址不能重复. 但是子网之间的IP地址就可以重复了.
• 所有的请求都要经过运营商中转
• 每一个家用路由器, 其实又作为运营商路由器的子网中的一个节点. 这样的运营商路由器可能会有很多级,最外层的运营商路由器, WAN口IP就是一个公网IP了.
• 子网内的主机需要和外网进行通信时, 路由器将IP首部中的IP地址进行替换(替换成WAN口IP), 这样逐级替换, 最终数据包中的IP地址成为一个公网IP. 这种技术称为NAT(Network Address Translation，网络地址转换).
• 如果希望我们自己实现的服务器程序, 能够在公网上被访问到, 就需要把程序部署在一台具有外网IP的服务器上. 这样的服务器可以在阿里云/腾讯云上进行购买

所以我们发送一个请求给远端服务器，每经过一个路由都发生了一次私有源IP地址的转换，但目的IP不会转换。服务器收到请求后，发起响应，将已经转换的IP地址设置为目的IP地址，再经过路由器转发到达发送端。

路由

在复杂的网络结构中, 找出一条通往终点的路线;

路由的过程, 就是这样一跳一跳(Hop by Hop) “问路” 的过程.

所谓 “一跳” 就是数据链路层中的一个区间. 具体在以太网中指从源MAC地址到目的MAC地址之间的帧传输区间

IP数据包的传输过程也和问路一样.

• 当IP数据包,到达路由器时, 路由器会先查看目的IP;
• 路由器决定这个数据包是能直接发送给目标主机, 还是需要发送给下一个路由器;
• 依次反复, 一直到达目标IP地址;

那么如何判定当前这个数据包该发送到哪里呢? 这个就依靠每个节点内部维护一个路由表

• 路由表可以使用route命令查看
• 如果目的IP命中了路由表, 就直接转发即可;
• 路由表中的最后一行,主要由下一跳地址和发送接口两部分组成,当目的地址与路由表中其它行都不匹配时,就按缺省路由条目规定的接口发送到下一跳地址。

NAT技术

NAT技术背景

之前我们讨论了, IPv4协议中, IP地址数量不充足的问题
NAT技术当前解决IP地址不够用的主要手段, 是路由器的一个重要功能;

• NAT能够将私有IP对外通信时转为全局IP. 也就是就是一种将私有IP和全局IP相互转化的技术方法:
• 很多学校, 家庭, 公司内部采用每个终端设置私有IP, 而在路由器或必要的服务器上设置全局IP;
• 全局IP要求唯一, 但是私有IP不需要; 在不同的局域网中出现相同的私有IP是完全不影响的;

NAT IP转换过程

• NAT路由器将源地址从10.0.0.10替换成全局的IP 202.244.174.37;
• NAT路由器收到外部的数据时, 又会把目标IP从202.244.174.37替换回10.0.0.10;
• 在NAT路由器内部, 有一张自动生成的, 用于地址转换的表;
• 当 10.0.0.10 第一次向 163.221.120.9 发送数据时就会生成表中的映射关系;

NAPT

那么问题来了, 如果局域网内, 有多个主机都访问同一个外网服务器, 那么对于服务器返回的数据中, 目的IP都是相同的. 那么NAT路由器如何判定将这个数据包转发给哪个局域网的主机?
这时候NAPT来解决这个问题了. 使用IP+port来建立这个关联关系

所以客户端向服务器发送请求的整体流程为：客户端发送数据包，先发给路由器，路由器解开MAC帧报头，转换源IP地址，并生成一张转换表，这张转换表维护了修改前的IP地址与修改后的IP地址的映射关系。然后路由器再封装MAC帧报头，转发给下一个路由器，一直到了与服务器处于同一局域网下的路由器后，路由器将数据报发送给服务器，服务器响应，以当前IP数据报中的源IP地址为目标IP地址，将response发送出去。此时虽然不知道客户端的IP地址，但是在返回的过程中，路由器都会再将IP地址通过转换表的映射，再转换回来，最后就可以目的IP地址转换成了客户端IP地址。

这种关联关系也是由NAT路由器自动维护的. 例如在TCP的情况下, 建立连接时, 就会生成这个表项; 在断开连接后, 就会删除这个表项

NAT技术的缺陷

由于NAT依赖这个转换表, 所以有诸多限制:

• 无法从NAT外部向内部服务器建立连接，因为外部并不知道内部主机的ip地址，只知道全局ip地址。也就是只能由客户端主动建立连接;
• 装换表的生成和销毁都需要额外开销;
• 通信过程中一旦NAT设备异常, 即使存在热备, 所有的TCP连接也都会断开;

兴趣调研: NAT穿越

NAT和代理服务器

路由器往往都具备NAT设备的功能, 通过NAT设备进行中转, 完成子网设备和其他子网设备的通信过程.

代理服务器看起来和NAT设备有一点像. 客户端向代理服务器发送请求, 代理服务器将请求转发给真正要请求的服务器; 服务器返回结果后, 代理服务器又把结果回传给客户端.

那么NAT和代理服务器的区别有哪些呢?

• 从应用上讲, NAT设备是网络基础设备之一, 解决的是IP不足的问题. 代理服务器则是更贴近具体应用, 比如通过代理服务器进行翻墙, 另外像迅游这样的加速器, 也是使用代理服务器.
• 从底层实现上讲, NAT是工作在网络层, 直接对IP地址进行替换. 代理服务器往往工作在应用层.
• 从使用范围上讲, NAT一般在局域网的出口部署, 代理服务器可以在局域网做, 也可以在广域网做, 也可以跨网
• 从部署位置上看, NAT一般集成在防火墙, 路由器等硬件设备上, 代理服务器则是一个软件程序, 需要部署在服务器上

代理服务器是一种应用比较广的技术.

• 翻墙: 广域网中的代理.
• 负载均衡: 局域网中的代理.

翻墙的原理：

代理服务器又分为正向代理和反向代理.

代购例子

花王尿不湿是一个很经典的尿不湿品牌, 产自日本.
我自己去日本买尿不湿比较不方便, 但是可以让我在日本工作的表姐去超市买了快递给我. 此时超市看到的买家是表
姐, 我的表姐就是 “正向代理”;

后来找我表姐买尿不湿的人太多了, 我表姐觉得天天去超市太麻烦, 干脆去超市买了一大批尿不湿屯在家里, 如果人
来找她代购, 就直接把屯在家里的货发出去, 而不必再去超市. 此时我表姐就是 “反向代理”

正向代理用于请求的转发(例如借助代理绕过反爬虫).
反向代理往往作为一个缓存.