[RoCE]Flow Control

Posted Haonan Hacking

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了[RoCE]Flow Control相关的知识,希望对你有一定的参考价值。

1.什么是802.3x Flow Control(Global Pause)?

以太网标准(802.3)设计时是不可靠的网络。不保证网络包会到达目的地像上层协议(如TCP)设计的将会到达目的地一样。后来,IEEE 802.3x 流控制标准为那些在上层一些不能保证可靠性的应用制定了一套标准。它能够接收从接收方发给发送方的缓存回馈(buffer feedback,例如overflow)。暂停动作(XOFF)是一个由接收方发给发送方的控制帧,告诉它接收缓存空间出现压力并且在不久可能会溢出。发送方立刻停止发送任何新的数据包予以回应,直到接收方准备再次接收它们为止。这个暂停帧包含一个timeout值。发送方会在这个超时范围内等待,或者直到收到一个XON控制消息后,再开始发送。IEEE 802.3x存在一个基本的缺点:一旦链路被暂停了,发送方就不能再产生任何新的包。结果,在一个端口上使用Global Pause流控制时,以太网链路不能负载需要不同QoS行为的多条网络流。也就是说,它会在该端口上暂停类型任何包括高优先级的网络流。不仅如此,如果这条链路出现在网络中的两个交换机上时,这个暂停动作可能会阻塞那些不需要暂停的服务器之间的流,导致大面积瘫痪。

2.什么是802.1Qbb Priority Flow Control(PFC)?

IEEE 802.1Qbb PFC将基本的IEEE 802.3x扩展成8个类别。它使得需要流控制的应用和不需要流控制的应用可以在同一条链路上共存。PFC对8种不同类型的流都做了定义,可以达到流控制效果。在2层网络的情况下,PFC使用VLAN标签(IEEE 802.1q)中的PCP位来区分八种不同类型的网络流,使得它们可以享受到独立的流控制。

[注意:PFC和Global Pause不能同时运行在同一个网络接口上,二者只能存其一]

3.什么时候使用PFC,它和QoS的关系又是什么呢?

当应用需要无损网络环境时(也就是说当应用使用的上层网络协议不保证可靠性传输时),PFC应该被启用以防止网络丢包,这通常是针对从光纤网络迁移到以太网上的应用。

当网络上存在多条网络流,而且这些网络流需要有差别的服务时(比如延迟敏感),应该启用QoS特性。可见PFC与QoS并无直接关系,但是他们可以应用到同一个网络队列上。

4.PFC具体在硬件上怎么实现的?

每个网卡硬件上有8个硬件发送队列,用于接收从各个CPU上的软件发送队列中的数据包,这些队列命名为Traffic Class,分别为TC0,TC1,...,TC7。而PFC策略可以通过mlnx_qos命令来对每个TC进行设置,因此可以细粒度的对每个TC启用PFC,使得上层应用可以同时选择有流控制和没有流控制的网络服务。

以上是关于[RoCE]Flow Control的主要内容,如果未能解决你的问题,请参考以下文章

RoCE vs iWARP

高性能算力中心 — RoCE — Overview

QoS in RoCE (zz)

两种以太网 RDMA 协议: iWARP 和 RoCE

RoCE网络技术和实现方式

UCloud高性能RoCE网络设计