混合精度训练

Posted 2022-07-02 yangwenhuan

论文：https://arxiv.org/pdf/1710.03740.pdf

译文：混合精度训练

摘要

增加神经网络的size，可以提高准确率。但同时，也加大了训练模型所需的内存和计算量。我们介绍一种使用半精度浮点数来训练深度神经网络的方法，不会损失准确率，也不需要修改超参数。

介绍

深度学习让很多不同的应用都取得了很大的进步，图像识别、语言建模、机器翻译和语音识别等等。这也衍生出两个关键的问题，更大的数据集和更复杂的模型。

更大的模型通常需要更多的计算量和内存来训练。