深度学习正则化---提前终止

Posted 渡~solong

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深度学习正则化---提前终止相关的知识,希望对你有一定的参考价值。

提前终止

??在对模型进行训练时,我们可以将我们的数据集分为三个部分,训练集、验证集、测试集。我们在训练的过程中,可以每隔一定量的step,使用验证集对训练的模型进行预测,一般来说,模型在训练集和验证集的损失变化如下图所示: 

技术分享图片


可以看出,模型在验证集上的误差在一开始是随着训练集的误差的下降而下降的。当超过一定训练步数后,模型在训练集上的误差虽然还在下降,但是在验证集上的误差却不在下降了。此时我们的模型就过拟合了。因此我们可以观察我们训练模型在验证集上的误差,一旦当验证集的误差不再下降时,我们就可以提前终止我们训练的模型。


以上是关于深度学习正则化---提前终止的主要内容,如果未能解决你的问题,请参考以下文章

资深程序员带你玩转深度学习中的正则化技术(附Python代码)!

深度学习正则化(超详解)

深度学习笔记:正则化问题总结

深度学习笔记:正则化问题总结

深度学习L1正则化和L2正则化

深度学习正则化---数据增强