损失曲线和度量曲线之间的不一致性？

Posted 2021-04-21

我最近训练了一种识别动作的分类模型。一切顺利，但损失曲线和准确度曲线之间存在一些不一致。损失图中的蓝色是测试损失;紫色的是训练损失。在度量图中，绿色曲线是训练精度;蓝色是测试的准确性。

我们可以看到，虽然测试损失趋势更糟，但测试准确性并没有变得更糟。这让我很困惑。深度学习是否正常？有什么解释吗？

答案

X-Y问题：

最重要的是训练和测试准确性之间的差异：看起来你已经严重过度拟合了。大约1k左右（迭代？），您的测试指标（损失和准确度）分化到大致水平，而培训继续符合训练集。在进行迭代2k之前，差异表明您的模型不再适用于一般用途。

实际问题：

准确度是预测分类是否正确的实际问题。这是一个简单的指标：是/否。 51％自信=>是; 99％自信=>是的。

您的模型精度达到了大约65％并且趋于平稳。

损失是预测距离的内部指标。 51％肯定预测错误只有51％错误，但99％肯定预测错误几乎是错误的两倍。这会驱动反向传播。

使用此数据集，当您的模型符合训练集时，其在测试集上的二进制预测仍然大致相同，但其信心越来越远离二进制正确性。它可能不太确定正确答案，和/或更确定其不正确的预测。两者都会使损失函数更高。