模型评估与选择

Posted 2020-10-07

　　首先谈谈什么是“经验误差”与“过拟合”。我们把学习器的实际预测输出与样本的真实输出之间的差异称为“误差”，学习器在训练集上的误差称为“训练误差”或“经验误差”；而在新样本上的误差称为“泛化误差”，显然，我们希望得到泛化误差小的学习器，但是若学习的太好是，就有可能把训练样本自身的一些特点当做了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降，这种现象称为“过拟合”，而与之相对的是“欠拟合”，即指对训练样本的一般性质尚未学好。

　　关于评估方法：即通过一个“测试集”来测试学习器对新样本的判别能力，然后以测试集上的“测试误差”作为泛化误差的近似。那么，如何划分训练集和测试集呢？第一种称为“留出法”，即将一个数据集划分两个部分，一个作为“训练集”，另一个作为“测试集”，至于怎么划分，这里就看比例了，而且不同比例的划分就会导致不同的误差的不同，所以一般对于留出法而言，一般要采用若干次随机划分、重复进行试验评估后取平均值作为留出法的评估结果；常见的做法是将数据集的2/3~4/5作为训练集，剩余的作为测试集。