谷歌让AI芯片学会“下崽”,下一代TPU就让AI自己设计

Posted QbitAl

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了谷歌让AI芯片学会“下崽”,下一代TPU就让AI自己设计相关的知识,希望对你有一定的参考价值。

月石一 发自 凹非寺
量子位 报道 | 公众号 QbitAI

设计一块AI芯片有多难?

这么说吧,围棋的复杂度10360,而芯片则是102500,你感受一下……

围棋的复杂度

一般来说,工程师们设计一块芯片,少则需要几周,多则好几个月

现在,AI生产力来了!

AI自己动手,竟然用6小时就设计出一块芯片。

最近,这项谷歌的研究登上了Nature杂志。

布局时间缩短数倍

小小的一块芯片包括了数十亿个晶体管,由它们组成的数千万个逻辑门就是标准单元,此外还有数千个存储块,称为宏块。

确定它们的位置,也就是布局规划,对芯片设计至关重要。

因为这直接关系到如何布线,进而影响着芯片的处理速度和电源效率。

但是,光是放置宏块这一步就非常耗时,为了给标准单元留出更多空间,每一次迭代都需要几天或几周时间。

人类设计和AI设计芯片的平面图(灰色块为宏块)

完成整个布局,则要花费数周甚至数月

现在,谷歌的研究人员提出了一种具有泛化能力的芯片布局方法。

它能够基于深度强化学习,从之前的布局中进行学习,然后生成新的设计方案。整体架构是这样的:

由于AI模型需要学习10万个芯片布局,为了保证速度,研究人员设计了一种奖励机制,基于线路长度和布线拥塞的近似代价函数进行计算。

具体来说,需要将宏和标准单元映射到一个平面画布上,形成具有数百万到数十亿节点的「芯片网表」。

然后,AI模型会对功率、性能和面积(PPA) 等进行优化,并且输出概率分布。

下图分别是零样本生成和基于预训练策略微调的效果,其中每个小矩形代表一个宏块。在预训练策略中,中间留出了用于放置标准单元的空间。

与其他方法相比,谷歌的新方法大大减少了设计时间,只需不到6小时,就能实现性能优化的布局。

谷歌:效果不错,已经用上了

研究团队对不同策略下的布局效果进行了可视化展示,从图中可以看到,预训练策略微调的结果要明显优于零样本生成。

并且,从不同训练时长的效果对比可以看到,在训练2-12小时的情况下,预训练策略要优于零样本生成。

在不同规模的数据集上进行测试,研究人员发现,随着数据集规模的扩大,生成布局的质量和收敛时间的结果更优。

谷歌表示,

这一方法适用于任何类型的芯片。

目前已经被用于生产下一代Google TPU(加速器芯片)。

参考链接:
https://www.nature.com/articles/s41586-021-03544-w
https://www.nature.com/articles/d41586-021-01515-9
https://ai.googleblog.com/2020/04/chip-design-with-deep-reinforcement.html
https://arxiv.org/abs/2004.10746

以上是关于谷歌让AI芯片学会“下崽”,下一代TPU就让AI自己设计的主要内容,如果未能解决你的问题,请参考以下文章

机器学习与流体动力学:谷歌AI利用「ML+TPU」实现流体模拟数量级加速

深度学习硬件:TPU, DSP, FPGA, AI ASIC, Systolic Array 动手学深度学习v2

首个中文Stable Diffusion模型开源;TPU演进十年;18个PyTorch性能优化技巧 | AI系统前沿动态...

绑定TensorFlow,开放TPU,谷歌云想用AI优势换道超车AWS?

深度揭秘谷歌TPU2机器学习集群:新一代的「谷歌云TensorFlow处理单元」

傅里叶变换取代Transformer自注意力层,谷歌这项研究GPU上快7倍TPU上快2倍