看完沐神的装机清单，我酸了。。

Posted 2022-11-25 xhmj12

上一篇：3个月找不到工作，我找了个“替身”面试成功拿到Offer，顺利入职了，结果翻车......

提到李沐老师，大家应该挺熟悉的了，亚马逊资深首席科学家，AI领域的大牛。

这不前段时间，李沐老师的频道里更新了一期装机的视频(BV1NB4y1L7R8)，实不相瞒，看完实在是慕了。

在还没出装机视频前，李沐老师曾发起了一个小小的问卷调查，看下童鞋们对装机跑Transformer有多大兴趣。

当时参与的小伙伴很多，足见大家还是很期待的。

这不，沐神带着他的装机视频来了。

在这个项目的开始，先装了2台原型机，每台机器都是双卡RTX 3090TI，采用了水冷散热系统，减少了噪音。

这一台机器装下来，造价可不低。

话不多说，来看看沐神是如何装机的吧～

装机清单

装机的需求，首先就要是足够安静，不然太吵的话没法工作。

第二个需求就是散热要好。不然温度过高的话会导致GPU降频。

第三个，重点来了，因为需要跑比较大的Transformer模型，所以GPU的带宽必须足够好。

如果之前装过GPU服务器用来跑CNN的话，跟跑Transformer模型的需求会不太一样。因为Transformer模型比CNN模型要更大，对内存的占有率会更高。所以GPU的内存大小非常重要。

之前李沐老师也讲过，要把这样大的Transformer模型放到多个GPU上训练，来自谷歌、微软等的工程师都是使用类似DGA X100这样的机器来跑的。即使在这样的机器上，GPU的带宽仍然是一个瓶颈。

购买这种服务器GPU和游戏GPU的区别就在于，前者不在于单卡能跑多快，而是卡与卡之间能够多快地连接出来。

因此装机理念的重点就是：尽量增大GPU内存，以及GPU之间互联的一个带宽，

如果一台机器想放很多卡的话，就要买涡轮的散热。

如果想要安静的话，就买水冷的散热，沐神买的是4块3090 TI。用水冷的好处是比较安静，坏处就是特别占地方。

所以，如果要在机箱放四块卡的话，就不要买水冷的版本，而是要买只有一个涡轮风扇的版本。

而且机箱里风的流向是一个特别重要的问题。如果买带3个风扇的卡，风是从正面进入机箱，然后从四面八方散热，卡挨得紧的话，机箱里的温度就会非常高。

作者也说，自己在多年前，买了四块2个大风扇的卡放在一起，结果就导致一块卡温度过高烧掉了。

GPU选好以后（华硕的ROG)， 剩下的配置就比较简单。CPU用的是AMD的12核CPU，主板是号称PCIE 4.0 16的某牌子，硬盘是2TB的M.2硬盘，风扇是120毫米水冷风扇，加一个全尺寸机箱。

压力测试

在装机完成后，下一步的任务就是继续装上操作系统。

这里沐神装的是ubuntu22，装上之后就靠远程连上去了。

当然了，作者也是把各种情况说的比较详细，除了ubuntu22以外，windows和linux在不同的需求下也是可以的。

这里沐神用的SSH进行的远程连接。

沐神的系统已经装上了驱动，同时，他也指出如果还没有驱动的话，也可以用apt-get装上nvidia-driver-515。

装好之后，就可以运行nvidia-smi，看到系统了。

从中可以看到各项信息。比如GPU的数量、温度、瓦数、内存使用等等。

接下来还可以通过nvidia-smi的topo-m矩阵看到nv-link是否正常。

可以看到两个GPU由NV4连接。4表示4个通道，这就代表连接是正常的。

下一题，就是测试系统在满负荷的情况下的温度。

沐神表示，测试GPU的是一个叫gpu-burn的小程序，github上可以下载。

视频中模拟跑了十分钟，也是看到了两个GPU的温度。作者还打趣说，都能感觉到GPU在呼呼吹热风。

同理，CPU也可以用这种办法测试温度，用的是cpu-burn。

最终两个GPU的温度停留在58度和55度，功耗拉到了440多瓦（满功耗480瓦），还挺好的。

最后的一项参数是机器的耗电情况。作者的测试大概用了1240瓦，意味着每小时用电1.2度。

从目前的数据来看，稳定性还ok。

至于用这台机器跑Transformer性能怎么样，这就得等以后的视频了。

网友热评

视频发出后，b站的网友也表示出了极大的兴趣。

有满分课代表同学出没，列出了视频中提到的完整配置清单。

当然了，这种硬核装机视频下的评论肯定少不了幽默因素。

只能说，太真实了。

不说了，努力搬砖去了，争取早日也能攒一台这样的台式机~

全文完，感谢你的耐心阅读。如果你还想看到我的文章，请一定给本文“在看”、“点赞”，新文章推送才会第一时间出现在你的微信里。

- END - 

热门推荐：
这个外包公司太恶心了。。进去请三思！
1024程序员节，别人家的公司真香！羡慕ing~
当程序员们决定去考公
字节绩效开奖了！

最新“铁饭碗”排名，公务员排第六，国家烟草第四，医生第二，第一很多人却不知道

PS：如果觉得我的分享不错，欢迎大家随手点赞、转发、在看