验证集CNN

Posted 2021-05-03

[我注意到，根据我在训练之前如何整理我的验证集，我的模型的训练差异很大。有时训练很均衡，有时过拟合，而我甚至欠拟合。

由于我的验证图像按顺序保存在一个csv文件中，因此在训练之前我将它们随机洗了一次。

现在，我想知道是否有人对如何处理这种行为有一些建议。

干杯，

M

答案

[在应用机器学习中，关于验证数据集的确切含义以及与测试数据集的区别有很多困惑。

假设我们想估计与将特定的统计学习方法应用于一组观测值相关的测试误差。验证集方法[…]是用于此任务的非常简单的策略。它涉及将可用的观察集随机分为两部分，训练集和验证集或保留集。该模型适合于训练集，并且拟合后的模型用于预测验证集中观测值的响应。产生的验证集错误率（通常在定量响应的情况下使用MSE进行评估）提供了测试错误率的估计值。]

传统上，用于评估最终模型性能的数据集称为“测试集”。 Russell和Norvig在其开创性的AI教科书中重申了保持测试集完全独立的重要性。他们将使用测试集中的信息以任何方式称为“偷看”。他们建议完全锁定测试集，直到完成所有模型调整为止。

偷看是使用测试集性能来选择假设并进行评估的结果。避免这种情况的方法是真正保留测试集-将其锁定，直到您完全学习为止，并只是希望获得对最终假设的独立评估。 （然后，如果您不喜欢结果……如果您想返回并找到更好的假设，则必须获取并锁定一个全新的测试集。）

1. Stuart Russell和Peter Norvig，第709页，人工智能：现代方法，2009年（第3版）
2. Gareth James等人，第176，统计学习简介：及其应用在R中，2013年。