硬件彩票：GPU和神经网络加速器

Posted 2021-04-26 我AI

“ DAY 6。以为这篇讲的是“如何有效的中彩票”的朋友们，可以退出了，有这等好事我怎么会说出来。”

今天看了一篇文章《The Hardware Lottery》[1]，即硬件彩票，觉得是一个比较有意思的视角，分享给大家。

图片来源[1]

你有没有想过，当前以深度学习为代表的人工智能，可能只是这十年间人类运气爆棚刮中了“彩票”的结果？

首先，深度学习的理论在上世纪已经出现：1963年训练多层神经网络的反向传播算法（现在仍然被用于训练神经网络），1982年卷积神经网络已经出现（现在用于解决计算机视觉任务的必备结构）。

作者认为，近十年才开始了深度学习的大范围被认可，原因很大程度上在于刮中了硬件的彩票：支持神经网络运算的物理硬件，从CPU转移到了GPU。GPU最初作为电脑上的游戏和图像/视频加速器存在，非常善于对简单的指令进行并行加速运算。

神经网络的运算本质上是大量的矩阵运算，或者说是大量的简单乘法和加法运算，不适合CPU这种通用的计算硬件。这个差别大概可以类比为：CPU作为一名大学数学教授，GPU作为一个班级的小学生，处理复杂数学问题当然是CPU的强项，但对于大量的简单乘法加法，小学生级别的GPU反而效率要高得多。

于是，某一天，仿佛苹果砸在了牛顿的脑袋上，某一学者突发奇想，用GPU来训练神经网络，取得了意想不到的效果：下图对比了不同神经网络，在家用CPU、服务器CPU、单GPU上的运算速度，相较于CPU而言，GPU至少能有数十倍的运算速度提升。[2]

图片来源[2]

随着GPU被广泛应用于深度学习的应用中，起飞的不只是Nvidia的股价，还有各类做神经网络专用芯片的公司——根据神经网络特性设计芯片结构，以尽可能地加速神经网络运算。

那么问题来了——如果你手中所具备的工具只是一把锤子，显然，你能做的，只是把任何东西当成钉子来对待，哪怕它并不是。而GPU和各类神经网络专用芯片，就是研究者们手中的锤子。

图片来源[1]

因此，一个显著的趋势是：大量研究者们都在致力于将自己的想法过拟合于GPU之类的硬件上，哪怕当前基于深度学习的方法存在着一些明显的局限性，明显的与人脑的差异性（可以参考上一篇文章《》）。

其实这种趋势也无可厚非，任何与主流深度学习偏离的研究领域，想要获得硬件支持的成本非常高。一个例子便是Capsule Network（胶囊网络），其在GPU上的性能远不如在CPU上，而想要重新设计一个芯片支持它进行高效运算，恐怕是几年的研发时间投入。

虽然大家普遍认同，下一个AI的大的突破点、爆破口，一定是与当前深度学习截然不同的方法（比如说脉冲神经网络）。为此我们甚至必须有一套全新的硬件。

但是，在当前情况下，我们或许只能寄希望于再刮中一次“硬件彩票”了。对大部分研究者而言，虽然无奈，但却也是必然。

最后，摘抄一段官方对硬件彩票的定义：

This essay introduces the term hardware lottery to describe when a research idea wins because it is compatible with available software and hardware and not because the idea is superior to alternative research directions.

参考资料：

[1] https://arxiv.org/pdf/2009.06489.pdf

[2] S. Shi, Q. Wang, P. Xu, and X. Chu. Benchmarking state-of-the-art deep learning software tools. CoRR, abs/1608.07249, 2016.

我AI 发起了一个读者讨论 留言板back！