深度学习，Loss不减

Posted 2023-03-12

【中文标题】深度学习，Loss不减

【英文标题】：Deep learning, Loss does not decrease

【发布时间】：2016-03-30 00:58:18

【问题描述】：

我尝试使用包含 20 个类的训练集微调预训练模型。需要提到的重要一点是，即使我有 20 个类，一个类包含 1/3 的训练图像。这是我的损失没有减少，测试准确率接近 30% 的原因吗？

感谢您的建议

【参考方案1】：

是的，您的网络很可能过度拟合不平衡标签。一种解决方案是您可以对其他标签执行数据增强以平衡它们。例如，如果您有图像数据：您可以进行随机裁剪、进行水平/垂直翻转，以及各种技术。

编辑：

检查您是否过度拟合不平衡标签的一种方法是计算网络预测标签的直方图。如果它高度偏向不平衡类，您应该尝试上述数据增强方法并重新训练您的网络，看看是否有帮助。

【讨论】：

Al 我的网络不是过拟合而是欠拟合。测试准确度为 30%，无论我做出什么改变，准确度都是稳定的。

【参考方案2】：

我有类似的问题。我通过增加神经网络权重初始值的方差来解决它。这用作神经网络的预处理，以防止权重在反向传播期间消失。

我在 Jenny Orr 教授的课程中遇到了neural network lectures，发现它非常有用。 （刚刚意识到 Jenny 早年与 Yann LeCun 和 Leon bottou 共同撰写了许多关于神经网络训练的论文。

希望对你有帮助！