计算机网络之RDMA技术（十二）InfiniBand简介

Posted 2023-04-13

参考技术A

姓名：周肇星；学号：22011110028；学院：通信工程学院

【嵌牛导读】RDMA技术全称远程直接数据存取，就是为了解决网络传输中服务器端数据处理的延迟而产生的。RDMA通过网络把资料直接传入计算机的存储区，将数据从一个系统快速移动到远程系统存储器中，而不对操作系统造成任何影响，这样就不需要用到多少计算机的处理功能。它消除了外部存储器复制和上下文切换的开销，因而能解放内存带宽和CPU周期用于改进应用系统性能。本专题将针对RDMA技术进行介绍！

【嵌牛鼻子】计算机网络，高性能网络，RDMA

【嵌牛提问】读完本文，对RDMA技术的InfiniBand有所认识了吗？

【嵌牛正文】

InfiniBand架构是一种支持多并发链接的“转换线缆”技术，它是新一代服务器硬件平台的I/O标准。由于它具有高带宽、低延时、 高可扩展性的特点，它非常适用于服务器与服务器（比如复制，分布式工作等）、服务器和存储设备（比如SAN和直接存储附件）以及服务器和网络之间（比如LAN， WANs和the Internet）的通信

随着CPU性能的飞速发展，I/O系统的性能成为制约服务器性能的瓶颈。于是人们开始重新审视使用了十几年的PCI总线架构。虽然PCI总线结构把数据的传输从8位/16位一举提升到32位，甚至当前的64位，但是它的一些先天劣势限制了其继续发展的势头，PCI总线有如下缺陷：

因此，Intel、 Cisco、 Compaq、 EMC、 富士通等公司共同发起了InfiniBand架构，其目的是为了取代PCI成为系统互连的新技术标准，其核心就是将I/O系统从服务器主机中分离出来

== InfiniBand采用双队列程序提取技术，使应用程序直接将数据从适配器送入到应用内存 ==（称为RDMA或远程直接存储器存取）, 反之依然。在TCP/IP协议中，来自网卡的数据先拷贝到核心内存，然后再拷贝到应用存储空间，或从应用空间将数据拷贝到核心内存，再经由网卡发送到Internet。这种I/O操作方式，始终需要经过核心内存的转换，它不仅增加了数据流传输路径的长度，而且大大降低了I/O的访问速度、增加了CPU的负担。而SDP则是将来自网卡的数据直接拷贝到用户的应用空间，从而避免了核心内存参入。这种方式就称为零拷贝，它可以在进行大量数据处理时，达到该协议所能达到的最大的吞吐量

物理层 定义了在线路上如何将比特信号组成符号,然后再组成帧、 数据符号以及包之间的数据填充等，详细说明了构建有效包的信令协议等

链路层 定义了数据包的格式以及数据包操作的协议，如流控、 路由选择、编码、解码等

网络层 通过在数据包上添加一个40字节的全局的路由报头（Global Route Header，GRH）来进行路由的选择，对数据进行转发。在转发的过程中，路由器仅仅进行可变的CRC校验，这样就保证了端到端的数据传输的完整性

传输层 再将数据包传送到某个指定的队列偶（Queue Pair，QP）中，并指示QP如何处理该数据包以及当信息的数据净核部分大于通道的最大传输单元MTU时，对数据进行分段和重组

注意HCA与TCA的区别

== IBA子网由端节点、交换机、路由器和子网管理器组成 ==

每个端口具有一个GUID（Globally Unique Identifier），GUID是全局唯一的，类似于以太网MAC地址

运行过程中，子网管理代理（SMA）会给端口分配一个本地标识（LID），LID仅在子网内部有用

通道适配器提供了一种内存转换和保护（Memory Translation & Protection，MTP）机制，它将虚拟地址转换为物理地址，并验证访问权限

== 交换机根据目的地LID进行转发 ==

IBA交换机支持单播转发，并可能支持多播转发

子网管理器能够配置交换机，包括加载其转发表

== 基于数据包的全局路由头（GRH）进行路由 ==，并在数据包从子网传递到子网时替换数据包的本地路由头

每个子网由一个唯一的子网标识符，与端口的GUID捆绑在一起构成端口的== GID（Global Identifier） ==

虚拟通道（Virtual lanes，VL）提供了一种在单条物理链路中创建多个虚拟链接的机制

QP是硬件和软件之间的一个虚拟接口，架构的设定是为每个适配器提供2^24个QP

用户调用API发送接收数据的时候，实际上是将数据放入QP当中，然后==以轮询的方式将QP中的请求一条条的处理，其模式类似于生产者-消费者模式==

QP是队列结构，按顺序存储着软件给硬件下发的任务（WQE）

WQE中包含从哪里取出多长的数据，并且发送给哪个目的地等等信息

虽然IB协议将QP称为虚拟接口，但是它是有实体的：

别让交换机成本限制你对RDMA的需求

RDMA作为一种远程直接内存访问技术，可以使数据通过应用程序绕过CPU直达网卡，实现低延迟、低负载、高效率的数据传输。从而提升网络和设备性能。

最初，RDMA技术只能在mellanox的InfiniBand网络交换机上执行。随后，mellanox又研发出相对低成本的实现形式——可在以太网运行RDMA技术，但须满足ROCE（RDMA Over Converged Ethernet）v1行业标准协议，其中的以太网交换机必须支持数据中心桥接和优先流控制机制。简单说就是必须为其匹配满足条件的交换机。而这不仅增加了使用和更换设备的预算，也限制了设备的可扩展性。

基于市场需求，联瑞电子自主研发推出了基于Intel 800系列主控方案的不同规格的RDMA网卡。该系列网卡在RoCEv2和IWARP协议也可以执行RDMA技术，用户可以根据实际需要切换两种协议，无需任何辅助设备；在实现RDMA技术的同时适配市场上流通的以太网交换机和服务器；增加了设备的可扩展性，为大型数据中心、网络安全、存储计算等多场景提升网络效率。
因为客户只需购买或更换网卡便可更低成本且便利的执行RDMA技术从而实现网络和设备性能提升，所以联瑞电子的该系列网卡逐渐成为对RDMA技术有需求的客户的优先选择。