计算机网络基础 — QoS/Bandwidth/Traffic Control 的实现原理

Posted 2021-06-13 范桂飓

目录

文章目录

• 目录
• 基本概念
• • QoS/Bandwidth/Traffic Control
  • 队列
  • • FIFO 队列
    • pfifo_fast 队列
    • SFQ 队列
    • 令牌桶队列
  • 数据流（Data Flow）
  • 数据包调度（Scheduler）
  • 数据包分类（Classifier）
  • 数据包策略（Policer）
• 流量控制的实现原理
• Linux Kernel 的流量控制实现
• • 调度器（Scheduler）
  • 分类器（Classifier）
  • 过滤器（Filter）
  • 策略器（Policer）
  • 句柄（Handle）

基本概念

QoS/Bandwidth/Traffic Control

QoS、带宽控制、流量控制的本质都是在网络设备（e.g. 主机、交换机、路由器等）的出口处使用一系列队列，对数据包进行排序以控制它们的发送顺序，并通过一系列策略控制收到的和发送的数据包是否应该被丢弃，同时还要对数据包的发送速率进行控制。

三者的区别在于关注的点和应用场景不同：

• QoS：关注服务保障要求。
• 带宽控制：关注每秒的流量速率。
• 流量控制：关注流量的大小、形态等。

队列

队列是一种用于组织未能立即开始的任务或数据流的方法。本质上，队列是一种调度的实现。

FIFO 队列

例如，在大部分情况下，Linux 的流量控制只有一个队列，接收上层（内核协议栈）传递下来的（网卡）数据包，把它们放入队列，并以网卡所能支持的最大速度发送出去，这种类型的队列是作为常见的 FIFO。

pfifo_fast 队列

版本较新的 Linux 的默认队列规则是 pfifo_fast，这是一种比 FIFO 稍微复杂一点的队列。

SFQ 队列

一个公平队列算法（e.g. SFQ）能防止一个客户端或一个数据流占用过多的带宽。

令牌桶队列

为了控制队列中数据包出队的速率，就需要精确计算单位时间内出队的数据包数量以及大小，而这通常是很复杂的。为了进行简化，现在一般都使用另一种机制：系统以一定的速率产生令牌，每个数据包（或一个字节）对应一个令牌，只有当令牌充足的时候数据包才能出队。令牌桶算法在所有 I/O 系统中都非常常见，在流量整形场合中亦如此。

常见的令牌桶模型有 TBF（Classless qdiscs）和 HTB（Classful qdiscs）。

其中，TBF 以 Rate 的速率产生令牌，并在桶中有令牌的时候才发送数据包。当队列中没有数据包的时候，就暂时不需要使用令牌，这时令牌就会在桶中积累起来。而且，如果桶的容量是无限制的，那就会失去流量整形的意义，因此，桶的容量必须是有限的。因为在桶中积累了一定数量的令牌，此时若队列中突然出现大量数据包需要出队，我们也有足够的令牌保证数据包能够顺畅出队。这就是说，一个装满的令牌桶能在一定时间内应付任何类型的流量。比较恒定的网络流量适合使用较小的令牌桶。经常有突发数据传输的网络则比较适合使用大的令牌桶，除非流量整形的目的是为了限制突发数据传输。概括来说，系统会以恒定的速率产生令牌，直到令牌桶满了为止。令牌桶能够在保证较长一段时间内网络流量在限制值以下，又能处理大速率的突发数据传输。

数据流（Data Flow）

通常的，一个数据流就是两台主机间建立的一条连接，任何经由这条连接发送的一系列数据包都可以看成这两台主机间的一条数据流。例如：在 TCP/UDP 中，srcIP、srcPort、dstIP、dstPort 唯一决定了一条数据流。

QoS/Bandwidth/Traffic Control 要求可以根据用户的配置将网络流量分割成不同类型的数据流，继而执行不通的控制策略。

数据包调度（Scheduler）

在流量控制领域，对队列中的数据包的顺序进行排列或重排的行为就叫做调度，即：调度器会对将要发送的数据包的顺序进行排列或重排。最常见的调度器是 FIFO（先入先出队列），对于不同的网络环境，我们通常会使用不同的调度器。

数据包分类（Classifier）

把数据包按照不同类型进行划分叫做分类，分类器能把不同类型的网络流量划分到不同的队列中去。

通常我们只对上行流量进行分类。在路由器接收、路由并转发一个数据包的时候，网络设备可以以几种不同的方式给数据包进行分类。其中一种方式是标记数据包，标记数据包的操作可以在一个网络中由管理员进行设置，也有可能在数据包经过每一跳时发生。

数据包策略（Policer）

在流量控制中使用策略器来控制流量是非常简单的，策略器能计算并限制某个特定队列的流量。策略器通常会应用于网络边界（e.g. 接收方、发送方）上，某个节点使用的流量不会超过分配给它的流量。

当网络流量在预设值以下时，策略器什么都不会做。但当网络流量超过预设值时，策略器就开始发挥作用，它能将流量速率控制在一个固定的水平之下。最不近人情的操作是即使在数据包能够继续分类的情况下依旧直接将其丢弃。

策略器只会区别对待两种情况，分别是：

• 入队数据包速率低于预定速率：策略器就会允许数据包入队。
• 入队数据包速率高于预定速率：策略器就执行其他操作（丢包、或重新分类）。

虽然决策器内部使用令牌桶来计算速率，但它并不像 Shaping（塑形）那样会延迟数据包的发送。

流量控制的实现原理

1. 流量分类
   

2. 流量标记
   

3. 流量策略
   

Linux Kernel 的流量控制实现

1. Classifying（分类）：将数据分为不同类别的数据流，分类不会修改原来的数据包。Filter（过滤器）会挂载到 Classifier（分类器）上进行分类工作。严格来说，Classifier 必须依靠 Filter 才能正常工作。
2. Marking（标记）：数据通过 Marker（标记器，e.g. DSCP 优先级）来区分为不通的类别，标记会修改原来的数据包。例如：dsmark，qdisc 用于给数据包打上标记。
3. Scheduling（调度）：qdisc 就是一个调度器，在 QoS 技术体系中属于拥塞管理的范畴。拥塞管理，即：当网络发生拥塞后（接收到的数据远多于自身的传输能力），按照什么调度方式（队列）来进行管制。通常情况下，网络设备默认丢弃后到的数据包而传输先到的数据包，这样的丢弃方式称为尾丢弃。
   1. Policing（管制）：Policer（策略器）可以看成是 Filter（过滤器）的一个子功能。
   2. Dropping：将 Filter 和 Policer 配合使用，并将 Policer 的动作设为 DROP “丢包”，就可以丢弃指定的数据流。
   3. Shaping（整形）：将超出的带宽缓存到内存中，等待后面的拥塞管理。

调度器（Scheduler）

调度器，即：qdisc，也被称为排队规则。每个网络接口都会有一个调度器，默认的调度器是 FIFO。qdiscs 会根据调度器的规则重新排列数据包进入队列的顺序。

• classless qdiscs 是没有分类的。由于非分类的排队规则没有子对象，所以 classifying 中也没有针对其的操作。因此，非分类的排队规则无法和过滤器相关联。
• classful qdiscs 可以包含多个 class，数据包根据 filter 的设置被分发到特定的 classful qdiscs 上。分类排队规则可以没有子类，但这样做通常会导致系统资源被白白浪费。

许多人常常弄不清楚 root qdisc 和 ingress qdisc 有何区别。这两者都不是真正的排队规则，他们只是一个供我们建立自己的流量控制结构的地方。出站数据包规则可以附加到 egress 上，而入站数据包可以附加到 ingress 上。

egress 和 ingress 存在于每一个网络接口上，在流量控制中最常用的是 egress，也就是我们所熟知的 root qdisc。root qdisc 能与任何类型的排队规则相关联，形成流量控制结构。每一个出站的数据包都要经过 egress，或者说都要经过 root qdisc 排队规则。

网络接口上收到的数据包都将经过 ingress qdisc。ingress qdisc 下无法创建任何分类，且只能与一个 filter 相关联。一般情况下，ingress qdisc 仅仅被当成是一个用于附加 policer 来控制入站流量的对象。

简而言之，egress 要比 ingress 更强大，更像是一个真正的排队规则。ingress 只能和决策器配合使用。本文也将重点介绍 root qdisc，除非特别说明，否则所有的操作都是默认针对 egress 进行的。

分类器（Classifier）

分类器可以根据数据包的元数据对数据包进行分类，识别不同类型的数据包。

分类仅存在于 classful qdiscs 之下（e.g. HTB CBQ 等）。理论上，类能无限扩展，一个类可以仅包含一个排队规则，也可以包含多个各自排队规则的子类。一个类之下可以包含多个分类的排队规则。这就给 Linux 流量控制系统予以了极大的可扩展性和灵活性。

每一个类都有一个数字编号，filter 将根据这个编号与指定的类相关联。对数据包进行重分类或丢弃操作时也需要用这个数字编号来指定相应的分类器对象。排队规则上的最末尾的分类成为叶子分类。叶子分类默认包含一个 FIFO 排队规则，且不会包含任何子分类。任何包含子分类的分类都不是叶子分类。

一个 qdisc 只能包含与其类型相同的类。举例来说，HTB 排队规则只能包含 HTB 分类，CBQ 排队规则不能将 HTB 分类作为自己的类。

过滤器（Filter）

过滤器是 Linux 流量控制系统中最复杂的对象，它是连接各个流量控制核心组件的纽带。过滤器最简单和最常见的用法就是对数据包进行分类。Linux允许用户使用一个或多个过滤器将出站数据包分类并送到不同的出站队列上。

• 一个过滤器必须有一个 classifier。
• 一个过滤器可以有一个 policer。

过滤器能与 qdisc 相关联，也可以和 class 相关联。所有的出站数据包首先会通过 root qdisc，接着被与 root qdisc 关联的过滤器进行分类，进入子分类，并被子分类下的过滤器继续进行分类。

策略器（Policer）

策略器只能配合 filter 使用。策略器只有两种操作，当流量高于用户指定值时执行一种操作，反之执行另一种操作。灵活使用决策器可以模拟出三色计（three-color meter）。

policing 和 shaping 都是 Linux 流量控制中的基本组件，两者都可以对带宽进行限制。但不同的是， shaping 能保存并延迟发送数据包，而 policing 只会直接丢弃数据包。

在 Linux 流量控制系统中，想要丢弃数据包只能依靠决策器;。决策器可以把进入队列的数据包流速限定在一个指定值之下。另外，它也可以配合分类器，丢弃特定类型的数据包。

句柄（Handle）

每个 class 和分类的 qdisc 都需要一个唯一的标识符，即：句柄。标识符由一个主编号和一个子编号组成，编号必须是数字。

• 主编号：这个编号对内核来说没有意义。用户可以随意指定一个数字。但是，在流量控制结构中，一个对象下所有子对象的主编号必须相同。另外，按照惯例，root qdisc 的主编号通常应指定为 1。
• 子编号：qdisc 的子编号必须为 0，而分类器的子编号必须是非 0 值。一个对象下的所有分类器必须有相同的子编号。特别地，ingress qdisc 的编号总是 ffff:0。

在使用 tc filter 时，句柄将会作为 classid 和 flowid 的参数值，以指定操作对象。句柄仅供用户使用，内核会使用自己的一套编号来管理流量控制组件对象。