NVLink和NVSwitch

Posted kongchung

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了NVLink和NVSwitch相关的知识,希望对你有一定的参考价值。

NVLink

NVLink主要加速CPU和NVIDIA GPU之间的互联速度,需要CPU的支持,例如IBM的Power的某些CPU支持,intel的CPU不支持;
也用于加速NVIDIA GPU和NVIDIA GPU之间的互联速度;
是一种点对点结构的串行通信协议;
版本速度Lans
Per Link
单向速度
Per Link
Link数In BWOut BW
Total BW
2014年
NVLink 1.0
20GT/s8+8
In + Out
8bit*20GT/s=20GB/sP100 With
4 Links
80GB/s80GB/s160GB/s
2018年
NVLink 2.0
25GT/s8+8
In + Out
8bit*25GT/s=25GB/sV100 With
6 Links
150GB/s150GB/s300GB/s
2020年
NVLink 3.0
50GT/s4+4
In + Out
4bit*50GT/s
=25GB/s
A100 With
12 Links
300GB/s300GB/s600GB/s
X16 PCIe Gen3 的带宽是16bit*8GT/s=16GB/s
X16 PCIe Gen4 的带宽是16bit*16GT/s=32GB/s


eg1: GPU与GPU通过NVLink1.0互联
技术图片
eg2: GPU与GPU通过NVLink1.0互联
技术图片
eg3: 8*P100 Cube Mesh Topo
技术图片
eg4: 8*V100 Cube Mesh Topo
技术图片


NVSwitch

NVSwitch是交换芯片
6对(12个Switch)使用在1个DGX-2的Server中支持16个P100 GPU
从GPU的角度看:8对GPU之间的带宽都是300GB/s,那么合计的带宽就是300GB/s*8=2.4TB/s
从Switch的角度看:一个Switch是8个Link,6个Switch就是48Link,单向进入的速度也可以这样计算48Link*25GB/s=1.2TB/s
Switch存在的作用是避免GPU和GPU之间的通信会存在多跳;
关于NVSwitch能找到的资料只有hp30上的胶片,可以看到switch上其实有18个NVLink2.0的Port,理论的吞吐是18*50GB/s=900GB/s
技术图片
可以猜测NVSwitch2.0可能实现了36个NVLink3.0的Port,理论的吞吐是1800GB/s,但是实际上使用了32个,吞吐是1600GB/s;

EX01: 12个NVSwitch 1.0连接16个V100实现0跳互联: 
技术图片
参考Wikichip的透视可能更加清晰:
技术图片

EX02: 12个NVSwitch 2.0连接16个A100实现0跳互联:
技术图片

Change List
V0.1 2019年11月9日 NVLink1.0/2.0 NVSwitch1.0
V0.2 2020年5月23日 添加NVLink3.0  NVSwitch2.0

参考文献:



以上是关于NVLink和NVSwitch的主要内容,如果未能解决你的问题,请参考以下文章

NVLink和NVSwitch

NVLink 是不是使用 DistributedDataParallel 加速训练?

2060super可以装NVLINK桥接器和其它显卡交火吗?

为啥数组会引起nvlink警告:入口函数的堆栈大小不能静态确定

OpenACC nvlink 未定义类的引用

AMD 7nm Vega 20将支持XGMI总线交火 对标NVIDIA NVLink