混合，带有多个标签的精度

Posted 2021-04-19

我想在具有大量类的数据集上使用混合精度的mxnet gluon训练模型。但是，类的数量超出了float16的限制，并且某些标签和预测为inf。我该如何解决？

答案

您将要同时使用Float16和Float32（毕竟是混合精度培训！）。您的数据，标签和网络的某些其他部分（例如exp和softmax）不应转换为Float16，否则，发现时会遇到Inf问题。我建议您检查MXNet AMP（自动混合精度）。参见this tutorial。