数据链路层和其他重要协议或技术

Posted 2022-05-19 小倪同学 -_-

文章目录

• 认识以太网
• • 以太网帧格式
  • 认识MAC地址
  • 认识MTU
• ARP协议
• • ARP协议的作用
  • ARP协议的工作流程
  • ARP数据报的格式
• DNS(Domain Name System)技术
• • DNS背景
  • 域名简介
• ICMP协议
• • ICMP功能
  • ICMP的报文格式
  • ping命令
• NAT技术
• • NAT技术背景
  • NAT IP转换过程
  • NAPT
  • NAT技术的缺陷
  • NAT和代理服务器

认识以太网

• “以太网” 不是一种具体的网络, 而是一种技术标准; 既包含了数据链路层的内容, 也包含了一些物理层的内容. 例如: 规定了网络拓扑结构, 访问控制方式, 传输速率等
• 例如以太网中的网线必须使用双绞线; 传输速率有10M, 100M, 1000M等
• 以太网是当前应用最广泛的局域网技术; 和以太网并列的还有令牌环网, 无线LAN等

以太网帧格式

以太网的帧格式如下所示：

• 源地址和目的地址是指网卡的硬件地址(也叫MAC地址), 长度是48位,是在网卡出厂时固化的
• 帧协议类型字段有三种值,分别对应IP、ARP、RARP
• 帧末尾是CRC校验码

此时又要回答两个问题：如何分离，如何交互。

因为以太网的报头长度时固定的，所以可以通过以太网报头的长度将其和数据分离开来。
以太网的报头中有2个字节的帧类型，通过帧类型可以知道该报头的下一步操作。

以太网间的通信如下

TCP到MAC每层功能

TCP：提供策略
IP执行：提供数据转发依据，让我们能找到目标主机
MAC：将数据帧交付给它的下一跳设备（路由器，主机）
mac解决相邻主机的通信问题，相邻主机一定是属于同一个网段
mac帧实际上是局域网通信原理

认识MAC地址

MAC地址：每一个网卡设备在出厂的时候都会拥有一个独一无二的MAC地址，MAC地址也被称为硬件的地址。

• MAC地址用来识别数据链路层中相连的节点
• 长度为48位, 及6个字节. 一般用16进制数字加上冒号的形式来表示(例如: 08:00:27:03:fb:19)
• MAC地址在网卡出厂时就确定了, 不能修改. mac地址通常是唯一的(虚拟机中的mac地址不是真实的mac地址, 可能会冲突; 也有些网卡支持用户配置mac地址)

在云服务器中可以通过ifconfig指令查看mac地址

MAC地址和IP地址的区别

• IP地址描述的是路途总体的 起点 和 终点
• MAC地址描述的是路途上的每一个区间的起点和终点

认识MTU

MTU相当于发快递时对包裹尺寸的限制. 这个限制是不同的数据链路对对应的物理层, 产生的限制

• 以太网帧中的数据长度规定最小46字节,最大1500字节,ARP数据包的长度不够46字节,要在后面补填充位。最大值1500称为以太网的最大传输单元(MTU),不同的网络类型有不同的MTU
• 如果一个数据包从以太网路由到拨号链路上,数据包长度大于拨号链路的MTU了,则需要对数据包进行分片(fragmentation)
• 不同的数据链路层标准的MTU是不同的

MTU对IP协议的影响

由于数据链路层MTU的限制, 对于较大的IP数据包要进行分包

• 将较大的IP包分成多个小包, 并给每个小包打上标签
• 每个小包IP协议头的 16位标识(id) 都是相同的
• 每个小包的IP协议头的3位标志字段中, 第2位置为0, 表示允许分片, 第3位来表示结束标记(当前是否是最后一个小包, 是的话置为1, 否则置为0)
• 到达对端时再将这些小包, 会按顺序重组, 拼装到一起返回给传输层
• 一旦这些小包中任意一个小包丢失, 接收端的重组就会失败. 但是IP层不会负责重新传输数据

MTU对UDP协议的影响

• 一旦UDP携带的数据超过1472(1500 - 20(IP首部) - 8(UDP首部)), 那么就会在网络层分成多个IP数据报
• 这多个IP数据报有任意一个丢失, 都会引起接收端网络层重组失败. 那么这就意味着, 如果UDP数据报在网络层被分片, 整个数据被丢失的概率就大大增加了

MTU对于TCP协议的影响

• TCP的一个数据报也不能无限大, 还是受制于MTU. TCP的单个数据报的最大消息长度, 称为MSS(MaxSegment Size)
• TCP在建立连接的过程中, 通信双方会进行MSS协商
• 最理想的情况下, MSS的值正好是在IP不会被分片处理的最大长度(这个长度仍然是受制于数据链路层的MTU)
• 双方在发送SYN的时候会在TCP头部写入自己能支持的MSS值
• 然后双方得知对方的MSS值之后, 选择较小的作为最终MSS
• MSS的值就是在TCP首部的40字节变长选项中(kind=2)

为什么要设置MTU？

设置MTU用于限制数据报的长度，如果数据报的长度不限制的话就需要一次传输大量数据，而在以太网传输的时候，mac帧是有碰撞域的，如果数据太大，那么很长时间网络都被该数据占用，发生碰撞的概率大大提升。

ARP协议

虽然我们在这里介绍ARP协议, 但是需要强调, ARP不是一个单纯的数据链路层的协议, 而是一个介于数据链路层和网络层之间的协议

ARP协议的作用

ARP协议建立了主机 IP地址 和 MAC地址 的映射关系

• 在网络通讯时,源主机的应用程序知道目的主机的IP地址和端口号,却不知道目的主机的硬件地址
• 数据包首先是被网卡接收到再去处理上层协议的,如果接收到的数据包的硬件地址与本机不符,则直接丢弃
• 因此在通讯前必须获得目的主机的硬件地址

ARP协议的工作流程

初步原理图如下

工作流程实例：

• 源主机发出ARP请求,询问“IP地址是192.168.0.1的主机的硬件地址是多少”, 并将这个请求广播到本地网段(以太网帧首部的硬件地址填FF:FF:FF:FF:FF:FF表示广播)。
• 目的主机接收到广播的ARP请求,发现其中的IP地址与本机相符,则发送一个ARP应答数据包给源主机,将自己的硬件地址填写在应答包中。
• 每台主机都维护一个ARP缓存表,可以用arp -a命令查看。缓存表中的表项有过期时间(一般为20分钟),如果20分钟内没有再次使用某个表项,则该表项失效,下次还要发ARP请求来获得目的主机的硬件地址。

ARP数据报的格式

• 注意到源MAC地址、目的MAC地址在以太网首部和ARP请求中各出现一次,对于链路层为以太网的情况是多余的,但如果链路层是其它类型的网络则有可能是必要的。
• 硬件类型指链路层网络类型,1为以太网
• 协议类型指要转换的地址类型,0x0800为IP地址
• 硬件地址长度对于以太网地址为6字节
• 协议地址长度对于和IP地址为4字节
• op字段为1表示ARP请求,op字段为2表示ARP应答

注意： arp的过程没有传输任何有效用户数据，它不是传输协议而是一个局域网内部的一个管理协议。

arp协议每次都要发生吗？

不是，arp发起方，接收到应答后会进行缓存IP和MAC的映射关系（有过期时间，一般20分钟）。

DNS(Domain Name System)技术

DNS背景

DNS是一整套从域名映射到IP的系统

TCP/IP中使用IP地址和端口号来确定网络上的一台主机的一个程序. 但是IP地址不方便记忆，于是人们发明了一种叫主机名的东西, 是一个字符串, 并且使用hosts文件来描述主机名和IP地址的关系。

最初, 通过互连网信息中心(SRI-NIC)来管理这个hosts文件的

• 如果一个新计算机要接入网络, 或者某个计算机IP变更, 都需要到信息中心申请变更hosts文件
• 其他计算机也需要定期下载更新新版本的hosts文件才能正确上网

这样就太麻烦了, 于是产生了DNS系统

• 一个组织的系统管理机构, 维护系统内的每个主机的IP和主机名的对应关系
• 如果新计算机接入网络, 将这个信息注册到数据库中
• 用户输入域名的时候, 会自动查询DNS服务器, 由DNS服务器检索数据库, 得到对应的IP地址

至今, 我们的计算机上仍然保留了hosts文件. 在域名解析的过程中仍然会优先查找hosts文件的内容。

域名简介

主域名是用来识别主机名称和主机所属的组织机构的一种分层结构的名称

例：百度的域名

www.baidu.com

域名使用 . 连接

• com: 一级域名. 表示这是一个企业域名. 同级的还有 “net”(网络提供商), “org”(非盈利组织) 等
• baidu: 二级域名, 公司名
• www: 只是一种习惯用法. 之前人们在使用域名时, 往往命名成类似于ftp.xxx.xxx/www.xxx.xxx这样的格式, 来表示主机支持的协议

ICMP协议

ICMP协议是一个 网络层协议
一个新搭建好的网络, 往往需要先进行一个简单的测试, 来验证网络是否畅通; 但是IP协议并不提供可靠传输. 如果丢包了, IP协议并不能通知传输层是否丢包以及丢包的原因，这就需要ICMP协议了。

ICMP功能

• 确认IP包是否成功到达目标地址
• 通知在发送过程中IP包被丢弃的原因
• ICMP也是基于IP协议工作的. 但是它并不是传输层的功能, 因此人们仍然把它归结为网络层协议
• ICMP只能搭配IPv4使用. 如果是IPv6的情况下, 需要是用ICMPv6

ICMP的报文格式

关于报文格式, 大家稍微有个了解即可

ICMP大概分为两类报文

• 一类是通知出错原因
• 一类是用于诊断查询

ping命令

• 注意, 此处 ping 的是域名, 而不是url! 一个域名可以通过DNS解析成IP地址。
• ping命令不光能验证网络的连通性, 同时也会统计响应时间和TTL(IP包中的Time To Live, 生存周期）。
• ping命令会先发送一个 ICMP Echo Request给对端。
• 对端接收到之后, 会返回一个ICMP Echo Reply。

一个值得注意的坑

有些面试官可能会问: telnet是23端口, ssh是22端口, 那么ping是什么端口?千万注意!!! 这是面试官的圈套!

ping命令基于ICMP, 是在网络层. 而端口号, 是传输层的内容. 在ICMP中根本就不关注端口号这样的信息.

traceroute命令
是基于ICMP协议实现, 能够打印出可执行程序主机, 一直到目标主机之前经历多少路由器

NAT技术

NAT技术背景

之前我们讨论了, IPv4协议中, IP地址数量不充足的问题
NAT技术当前解决IP地址不够用的主要手段, 是路由器的一个重要功能;

• NAT能够将私有IP对外通信时转为全局IP. 也就是就是一种将私有IP和全局IP相互转化的技术方法。
• 很多学校, 家庭, 公司内部采用每个终端设置私有IP, 而在路由器或必要的服务器上设置全局IP。
• 全局IP要求唯一, 但是私有IP不需要; 在不同的局域网中出现相同的私有IP是完全不影响的。

NAT IP转换过程

• NAT路由器将源地址从10.0.0.10替换成全局的IP 202.244.174.37
• NAT路由器收到外部的数据时, 又会把目标IP从202.244.174.37替换回10.0.0.10
• 在NAT路由器内部, 有一张自动生成的, 用于地址转换的表
• 当 10.0.0.10 第一次向 163.221.120.9 发送数据时就会生成表中的映射关系

NAPT

那么问题来了, 如果局域网内, 有多个主机都访问同一个外网服务器, 那么对于服务器返回的数据中, 目的IP都是相同的. 那么NAT路由器如何判定将这个数据包转发给哪个局域网的主机？

这时候就需要NAPT来解决这个问题了. 使用IP+port来建立这个关联关系

这种关联关系也是由NAT路由器自动维护的. 例如在TCP的情况下, 建立连接时, 就会生成这个表项; 在断开连接后, 就会删除这个表项。

NAT技术的缺陷

由于NAT依赖这个转换表, 所以有诸多限制

• 无法从NAT外部向内部服务器建立连接
• 装换表的生成和销毁都需要额外开销
• 通信过程中一旦NAT设备异常, 即使存在热备, 所有的TCP连接也都会断开

NAT和代理服务器

路由器往往都具备NAT设备的功能, 通过NAT设备进行中转, 完成子网设备和其他子网设备的通信过程。

代理服务器看起来和NAT设备有一点像. 客户端向代理服务器发送请求, 代理服务器将请求转发给真正要请求的服务器; 服务器返回结果后, 代理服务器又把结果回传给客户端。

那么NAT和代理服务器的区别有哪些呢?

• 从应用上讲, NAT设备是网络基础设备之一, 解决的是IP不足的问题. 代理服务器则是更贴近具体应用, 比如通过代理服务器进行翻墙, 另外像迅游这样的加速器, 也是使用代理服务器.
• 从底层实现上讲, NAT是工作在网络层, 直接对IP地址进行替换. 代理服务器往往工作在应用层
• 从使用范围上讲, NAT一般在局域网的出口部署, 代理服务器可以在局域网做, 也可以在广域网做, 也可以跨网
• 从部署位置上看, NAT一般集成在防火墙, 路由器等硬件设备上, 代理服务器则是一个软件程序, 需要部署在服务器上

代理服务器是一种应用比较广的技术

• 翻墙: 广域网中的代理
• 负载均衡: 局域网中的代理

代理服务器又分为正向代理和反向代理

我们可以用代购的例子更好的理解代理服务器

花王尿不湿是一个很经典的尿不湿品牌, 产自日本。
我自己去日本买尿不湿比较不方便, 但是可以让我在日本工作的表姐去超市买了快递给我. 此时超市看到的买家是我表姐, 我的表姐就是 正向代理;
后来找我表姐买尿不湿的人太多了, 我表姐觉得天天去超市太麻烦, 干脆去超市买了一大批尿不湿屯在家里, 如果有人来找她代购, 就直接把屯在家里的货发出去, 而不必再去超市. 此时我表姐就是 反向代理。