深度学习主机攒机小记
Posted 蘭亭客
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了深度学习主机攒机小记相关的知识，希望对你有一定的参考价值。
本文來源網址：http://www.52nlp.cn/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E4%B8%BB%E6%9C%BA%E6%94%92%E6%9C%BA%E5%B0%8F%E8%AE%B0
Update: 这篇文章写于一年以前，这一年深度学习的大潮继续推进，1080也升级到1080TI了，攒机也有了更多更好的选择。最近更新了一篇文章：《从零开始搭建深度学习服务器：硬件选择》，可以看完下文后（主要提供了一些选择的思路），再来看最新的这篇（主要提供了一些配置选择），相得益彰。另外强烈不推荐雷霆世纪的主机，售后服务严重不靠谱。
2016年5月中下旬的时候，GTX1080的公布和发售直接刺激了我攒一台深度学习主机的欲望，攒机对于我来说已经相隔十多年，大学时候的第一台PC就是攒出来的，其实也就是在5000元的预算内，去电脑城里找商家组装了一台台式机，美其名曰DIY。
虽然已经锁定显卡，但是对于其他的搭配还是很模糊，只是需要“好CPU”，“大内存", “大硬盘", 于是开始google “深度学习电脑”，“深度学习服务器”，“深度学习PC”， “深度学习主机”，“深度学习机器”，“深度学习工作站”这些关键词，并很快锁定了这篇文章《如何搭建一台深度学习服务器》作为主要参考：
硬件选择：基本思路是单显卡机器，保留升级空间
......
CPU选择：
在深度学习任务中，CPU并不负责主要任务，单显卡计算时只有一个核心达到100%负荷，所以CPU的核心数量和显卡数量一致即可，太多没有必要，但是处理PCIE的带宽要到40。主板选择：
需要支持X99架构，支持PCIe3.0，还要支持4通道DDR4内存架构。如果要搞四显卡并行，PCIE带宽支持要达到40，并且支持4-Way NVIDA SLI技术。内存：
达到显存的二倍即可，当然有钱的话越大越好。电源问题：一个显卡的功率接近300W，四显卡建议电源在1500W以上，为了以后扩展，选择了1600W的电源。
机箱散热：
因为各种部件相当庞大，需要有良好散热功能的大机箱，选择了Tt Thermaltake Core V51机箱，标配3个12cm风扇。未来如果需要还可以加装水冷设备。......
最后的硬件配置：
CPU: Intel X99平台 i7 5960K
内存: DDR4 2800 32G(8G*4)
主板: GIGABYTE X99-UD4
显卡: GTX Titan X
硬盘: SSD+普通硬盘
按照这篇文章的配置，在淘宝查了一下相关价格，这个配置大概20000+的水平，如果作者再搞个4路显卡并行，绝对土豪。不过这里面的i7 5960K很少见，应该对应的是i7 5960X。
对于我来说，主要是围绕着GTX1080来配置深度学习服务器，不过这个时候上文所说的一些概念还比较模糊，于是以一个游戏玩家的身份跑了一趟电脑城，当我向商家说明来意，要配置一个GTX1080主机时，商家除了纷纷表示GTX1080货源紧缺，需要预定外，也有的会在打完几个电话后告诉我有现货但需要加价，极端的一个例子是华硕的公版GTX1080当时加到了6900。不过几乎无一例外，他们给的配置清单基本上是这样的：
CPU: Intel i7 6700K
内存: DDR4 32G(8G*4)
主板: 华硕Z170-P or Z170-AR
显卡: GTX 1080
硬盘: SSD+普通硬盘
......
加上其他配件，大概12000+的样子。当然，我只是通过市场调研一下，并不急于入手，于是回到家里，继续google。
i7-6700K 是去年发布的6代酷睿i系列处理器，它最大的变化是 “14nm工艺+新架构（Skylake），对于老态龙钟的Haswell有着工艺和架构的双‘料‘改进！新架构意味着同频性能更强，新工艺意味着功耗更低”。另外i7-6700K是“四核心八线程、8MB三级缓存，CPU频率基准4.0GHz、最高4.2GHz，总线支持十六条PCI-E 3.0，内存支持双通道DDR4-2133、DDR3L-1600”。特别注意这里的PCIE 3.0，总计只有16条，这个就很有局限了。同样它所支持Z170等系列主板，无论在显卡支持数量和最大内存容量上都不如X99的可扩展性强。譬如这里的华硕Z170主板，必须是Z170-A或者在Z170-AR才能支持双路显卡，稍差一点的Z170-P仅支持一个显卡。内存插槽上，Z170多是4个，而X99一般都是8个。
于是将目光又一次转向了X99平台，重新审视了i7-5960X, i7-5930K, i7-5820k这几个两年前英特尔发布的22纳米工艺的Haswell-E系列的CPU。下面这幅图其实一目了然：
注意其中的PCIE-3.0个数，5960x和5930k都是40，而5820K只有28，这样的话“具备完整的40条PCI-E的i7-5960X和i7-5930K可以以“x16+x8+x8+x8”的带宽分配方式组建四路的SLI或者CrossFire，而“小弟”i7-5820K最多只能组建“x16+x8”或“x8+x8+x8”的双路或者三路显卡并联系统。”
显然，在可扩展性上，5960x和5930k更好，不过在价格上自然也有区分，目前淘宝上5960x大概7000左右，5930k在4000左右，5820k在2700左右。
对于我来说，还没有打算做多路显卡并联，但是为了可扩展性，所以初步选择了5390k或者5820K作为CPU备选。但是最大的问题还是GTX1080的货源问题，淘宝天猫上全是预定，托朋友关系咨询当地技嘉总代，拿GTX1080必须搭配其他显卡销售，不过有个很优惠的价格可以拿到 GTX Titan X ，为此还在微博上咨询了一下是选择GTX1080还是GTX Titan X，李沐M和其他几个同学的回答基本让我确定等待GTX1080。另外李沐大神有几篇关于GPU的文章，不过都是超级土豪的，感兴趣的同学可以参考。
之前曾google到一篇GTX1080机器的文章：国产首款GTX 1080游戏PC开售，不过当时对这些配置还无感，调研了一番回头再看的时候，发现雷霆世纪所推的这款GTX1080主机性价比超高，可惜这个主机第一轮预定完之后到目前为止一直显示无货：
CPU：Intel i7-6800K（6核12线程）
主板：华硕X99-E
显卡：GTX 1080
SSD：三星SM951 256G（M.2接口）
电源：海韵X-850 850W（80 PLUS全模组）
机箱：迎广805C红 中塔式机箱（铝合金，双面钢化玻璃侧透）
散热：采融B81 V2黑色雷霆定制版（纯铜底、6热管、PMW风扇）
内存：自行购买（DDR4）
系统：预装Windows 10测试版系统
这套配置里面提到了i7-6800K，查了一下，是最近Intel刚刚推出的发烧级桌面处理器Broadwell-E系列中的一员：
网上有评论i7-6800k是i7-5820k的升级版，虽然同样支持X99架构主板，但是同样的问题也是PCIE-3.0个数只有28个。不过同为升级版，不差钱的同学可以考虑将上文中i7-5960X的配置替换为Broadell-E系列里的旗舰产品i7-6950X，10核心20线程顶级配置，淘宝报价目前在15000左右。
雷霆世纪这款GTX1080主机虽然很诱惑，但是一直显示无货，不过在浏览相关的产品的时候发现另一款 “The one 2 Plus自由版” ，除了没有显卡，主板型号略微有点差异外，其他配置和上一款GTX1080机器基本相同，当然都没有内存。此时恰逢京东618期间的活动，价格比原价7488还低了600，6888可以搞定，稍微淘宝了一下相关的配件价格，粗略计算自己配的话大概需要8500+，所以马上付定金预定。当时的页面显示，6.26号付全款，6.28号之后按付款顺序发货。
所以必须等了，不过这期间一个朋友通过种种努力在当地技嘉总代帮我搞定了一块非公版GTX1080显卡：技嘉GTX1080 G1 GAMING ，于是，在拿到显卡的当天，发了一条微博：为信仰充值。之后又在淘宝上买来了4条16G内存条和一块4T硬盘（组SSD+普通硬盘），外加显示器和鼠标硬盘，这套所谓的GTX1080深度学习主机配置是这样的：
CPU：英特尔（Intel）酷睿六核i7-6800K 2011-V3接口 盒装CPU处理器
主板：华硕（ASUS）X99-A/USB 3.1 主板 （Intel X99/LGA 2011-v3）
显卡：技嘉GTX1080 G1 GAMING 非公版
硬盘：三星 SM951 M.2 256G SSD + 西部数据 WD40EZRZ 4T台式机硬盘（蓝盘64M）
内存：64G 金士顿骇客Fury DDR4 2400 16G单条 * 4
机箱：迎广(IN WIN)805c红 ATX中塔式机箱 黑紅色 铝合金/钢化玻璃/双面侧透(U2*2+U3*1+U3.1*1)
电源：海韵（Seasonic）额定850W X-850 电源（80PLUS金牌/全模组/全日系电容/支持SLI/支持背线）
散热器：采融 B81 V2（黑色）
总计15000多一点：主要配置（6888）+ 显卡（5000）+ 4条内存（1800，最近内存涨得比较猛）+ 硬盘（780）+ 显示器（800）。前几天终于拿到主机，并找来雷霆售后师傅帮我把散热、内存、显卡、硬盘安装调试好，系统预装的是Windows10试用版，当然，很快它就会被Ubuntu取代，最后上几张图：
参考资料：
如何搭建一台深度学习服务器：http://www.r-bloggers.com/lang/chinese/2042
GPU集群折腾手记——2015：http://mli.github.io/gpu/2016/01/17/build-gpu-clusters/
Nvidia新的Pascal值不值得买（升级）：http://mli.github.io/2016/06/14/new-pascal/
如何配置一台适用于深度学习的工作站：https://www.zhihu.com/question/33996159
Which GPU(s) to Get for Deep Learning: http://timdettmers.com/2014/08/14/which-gpu-for-deep-learning/
A Full Hardware Guide to Deep Learning：http://timdettmers.com/2015/03/09/deep-learning-hardware-guide/
Building a Deep Learning (Dream) Machine：http://graphific.github.io/posts/building-a-deep-learning-dream-machine/
Reddit: gtx1080 vs 1070 for machine learning?
注：原创文章，转载请注明出处及保留链接“我爱自然语言处理”：http://www.52nlp.cn
本文链接地址：深度学习主机攒机小记 http://www.52nlp.cn/?p=9081
以上是关于深度学习主机攒机小记的主要内容，如果未能解决你的问题，请参考以下文章