验证损失减少,然后增加,然后再次减少

Posted

技术标签:

【中文标题】验证损失减少,然后增加,然后再次减少【英文标题】:Validation loss decreases, then increases, and then decreases again 【发布时间】:2020-08-17 16:43:02 【问题描述】:

作为我正在训练的深度 CNN 分类器的迭代函数,我有以下交叉熵损失的演变。蓝色曲线用于训练集,橙色曲线用于验证集。我不知道怎么会发生这种情况。 有没有办法在不涉及数据和模型的细节的情况下解释这一点?解释是什么?我应该说模型从哪里开始过拟合?

【问题讨论】:

【参考方案1】:

如果没有更多信息,我会说您的模型过度拟合。

可能会有很多问题,也许是 300... epoch,我猜?对你的训练数据来说太多了,学习率太高了,你的训练和验证数据集中的数据没有很好的平衡......

【讨论】:

以上是关于验证损失减少,然后增加,然后再次减少的主要内容,如果未能解决你的问题,请参考以下文章

验证损失达到最小值然后增加

验证损失不断减少,而训练损失在 3 个 epoch 后开始增加

具有正弦波形的验证损失

如何解释损失和准确性的增加

为啥损失减少而准确率却没有增加? PyTorch

GAN - 生成器损失减少,但鉴别器假损失在初始下降后增加,为啥?