convnet 突然下降准确率

Posted 2023-03-13

【中文标题】convnet 突然下降准确率

【英文标题】：convnet suddenly drop accuracy

【发布时间】：2018-05-17 12:16:40

【问题描述】：

我正在尝试使用paper 中提出的架构在 fer2013 数据集上训练情感识别模型

本文使用的数据集与我的不同，因此我对步幅和过滤器大小进行了一些修改。 经过几个小时的训练，训练集和测试集的准确率突然下降。

在那之后，两组的准确率都保持在 0.1-0.2 左右，再也没有提高过。 有人知道这种现象吗？

【参考方案1】：

在任何神经网络训练中，如果精度（即训练和验证）都先提高然后开始下降，则表明您的网络未能收敛。更恰当地说，您的优化器已经开始超调。

一个最可能的原因可能是高学习率。降低您的学习率，然后再次检查您的示例。另外，在您的链接论文中（至少在第一眼看到），我看不到提到的学习率。由于您的数据与论文的数据不同，因此相同的学习率可能效果不佳。

【讨论】：

学习率也是我认为的问题，但我已经使用了一个非常小的学习率 (0.005)，所以很难相信优化器会超过任何东西

你能进一步减少它并检查吗？

我会尝试看看它的进展情况，它需要很长时间才能达到这一点，所以我很不愿意这样做

作为第一步，您是否检查了在您的数据集上从提议的模型进行迁移学习的性能？