技术干货：如何选择最适合自己的RDMA网卡

Posted 2021-11-09 深圳联瑞电子LRLINK

 近些年来，RDMA网卡的技术应用在全球以太网通讯市场上刮起一股旋风，特别是阿里、腾讯、浪潮、超微、联想等一些互联网巨头企业在服务器上大量部署RDMA网卡。2019年，据官方数据报道，天猫双11当天成交额达到2684亿元，订单创新峰值达到54.4万笔/秒，单日数据处理量达到970PB，这个惊为天人的数值出现，再一次将RDMA网卡的应用推上话题的顶峰。

但是很多用户表示，看着这数据很牛逼，但是RDMA网卡到底在实际环境中是如何应用的，则是表示一头雾水。其实对于RDMA网卡的实际应用，并没有大家想象中的那么神秘，RDMA网卡的出现，实际上是为了解决服务器端数据处理延迟而产生的，也就是说，RDMA网卡诞生的使命，就是降低CPU负荷，提高网络吞吐量，降低网络延迟。
一、RDMA概念
RDMA（英文全称：Remote Direct Memory Access），意思是远程直接内存访问，这种技术是一种最早应用于高性能计算领域的网络通讯协议，目前已在数据中心逐渐普及。RDMA允许用户程序绕过操作系统内核（CPU），直接和网卡交互进行网络通信，从而提供高带宽和极小时延。所以RDMA网卡的工作原理是，与传统的TCP/CP网卡相比，RDMA网卡省略了内核（CPU）的参与，所有数据的传输直接从应用程序到达网卡。
第二、RDMA三种网络协议
目前，RDMA大体有Infiniband、RoCE、iWARP三种网络协议

1. Infiniband是一种专为RDMA量身定做的网络协议，可以从硬件级别上保证数据传输的可靠性。虽然InfiniBand技术规格及标准规范在2000年正式发表，但InfiniBand Architecture(IBA)在集群式超级计算机上得到广泛应用的时间却是在2005年以后。发展缓慢的最大原因就是Infiniband要求从L2到L4到需要自己的专用硬件，企业成本非常高，现在做InfiniBand网络的厂商主要是Mellanox。
2. RoCE是一个允许在以太网上执行RDMA的网络协议，可分为RoCE v1和RoCE v2，很多网友认为RoCE本身的架构是InfiniBand嫁接过来的，因为RoCE较低的网络标头是以太网标头，较高的网络标头是InfiniBand标头。是Mellanox(支持RoCE v1)为符合市场需求推出的低成本的InfiniBand网络。
   RoCE网络要求有无损以太网才能实现低延迟运行，也这意味着集成到网络中的以太网交换机必须支持数据中心桥接(DCB)和优先流控制(PFC)机制，以此才能维持无损流量。但无损以太网的难点在于，在现代化的企业环境中配置是一个复杂的流程，并且可扩展性会受到很大的局限，不过这对于财力雄厚的企业来说不是问题。其次，RoCE对于机架服务器或者主机，则直接使用网卡就可以。
3. iWARP 是一个允许在TCP上执行RDMA的网络协议，它的优点是能够运行在当今的标准TCP/IP网络中，只需要采购支持iWARP的网卡就可以采用RDMA，对于财务预算略低的小企业来说，尤为适用。但它的缺点就是在性能上略差于RoCE，毕竟一分价钱一分货，这个道理从古至今一直适用。
   第三、RDMA网卡品牌如何选择
   常言道，货比三家，对于RDMA网卡品牌选择的同样适用。纵观全球市场，现在做RDMA网卡的品牌厂商主要有三大巨头企业，分别是Marvell、intel、Mellanox，其中Marvell是收购的Qlogic品牌，Mellanox被英伟达收购。
   话说回来，在RDMA网卡上我们如何选择品牌厂商？首先我们知道Mellanox的Infiniband网络是RDMA网卡性能最好的代表，可以从硬件传输上保证可靠性，但要求整个生态环境必须配备专用的硬件，虽然现在已经发布支持以太网的RDMA网卡，但是这种RDMA网卡只支持RoCE v1，这就要求交换机上必须满足优先流控制(PFC)机制，成本昂贵，就这一项，已将绝大多数数据中心企业排除在门外。
   剩下的就只有RoCE v2和iWARP，Intel是美国一家主要做CPU处理的公司，在800系列的以太网控制器上已支持RDMA性能（RoCE v2和iWARP协议），RoCE v2是RoCE v1的升级版，最大的改进是支持IP路由，其中iWARP协议最大的特点是可以在任意IP网络上运行，不再局限相关硬件配套设备的兼容性，从这一点上来看，Intel 公司和Mellanox公司相比，Intel的RDMA网卡更具有生态兼容性以及性价比性。
   Marvell我们前面讲过，他是收购的Qlogic品牌，Qlogic品牌在光纤通道市场拥有绝对的话语权，全球众多企业客户都采用QLogic的方案，在RDMA上，Qlogic和Intel一样做到做到对RoCE和iWARP不存在任何偏见，客户能够在同一个适配器上同时使用RoCE和iWARP协议，只是目前Marvell公司对外发布声明，明年以太网网络控制器将停产，这是一个非常遗憾的消息。
   第四、国内自主研发RDMA网卡厂商
   除上述三大巨头企业外，国内仍有很多具有雄厚自主研发能力的RDMA网卡厂商，比如说深圳市联瑞电子有限公司。2019年，深圳市联瑞电子有限公司（以下简称：LR-LINK联瑞）与Marvell达成战略合作关系，凭借Qlogic在光纤通道的强大实力，打造专供于服务器领域的RDMA网卡。主要推出的有双口/四口万兆网卡（型号：LRES1004PF-2SFP+，LRES1005PF-4SFP+），25G服务器网卡、万兆和25G OCP 3.0网卡等，由于Marvell以太网网络控制器明年将停产，所以目前LR-LINK联瑞现存的Marvell网卡（RDMA功能）更多供老客户订购。
   除此之外，2020年6月以后，LR-LINK联瑞开始逐步自主研发基于Intel 800系列的以太网卡适配器，目前已正常销售的成品有100G双光口服务器网卡，100G单光口服务器网卡，25G双光口服务器网卡；目前在研年底上市的有25G四光口服务器网卡，25G双光口OCP3.0网卡和100G双光口OCP 3.0网卡等，在性能上均具有低延迟，高网络吞吐量，节约CPU开销等优异特性，支持RDMA功能。
   未来，伴随企业领域对数据中心数据处理需求的高速飞涨，LR-LINK将持续发挥行业优势，创新研发更多具备高性能、高吞吐量、低延迟等特性网卡，始终致力为全球客户提供卓越性能的专业网卡解决方案。