验证集精度高于训练集精度的原因分析

Posted 2022-06-23 K同学啊

• 🔗 运行环境：python3
• 🚩 作者：K同学啊
• 🥇 精选专栏：《深度学习100例》
• 🔥 选自专栏：《新手入门深度学习》
• 📚 推荐专栏：《Matplotlib教程》
• 🧿 优秀专栏：《Python入门100题》

---

• 数据集太小的话，如果数据集切分的不均匀，或者说训练集和测试集的分布不均匀

• 训练集的数据做了一系列的增广，如旋转，仿射，模糊，添加噪点等操作；过多的增广使得训练集分布产生了变化。

• 模型正则化过多，比如训练时dropout过多，和验证时的模型相差较大，验证时是不会有dropout的。

• 训练的精度是每个batch产生的，而验证的精度一般是一个epoch后产生的，验证时的模型是训练一个个batch之后的，有一个的滞后性；可以说训练得差不多的模型用来验证，当然精度要高一点。