训练集、验证集和测试集

Posted 2023-04-08

参考技术A 大数据时代，我们现在的数据量可能是百万级别，那么验证集和测试集占数据总量的比例会趋向于变得更小。因为验证集的目的就是验证不同的算法，检验哪种算法更有效，因此，验证集要足够大才能评估，比如 2 个甚至 10 个不同算法，并迅速判断出哪种算法更有效。比如我们有 100 万条数据，那么取 1 万条数据便足以进行评估，找出其中表现最好的 1-2 种算法。同样地，根据最终选择的分类器，测试集的主要目的是正确评估分类器的性能，所以，如果拥有百万数据，我们只需要 1000 条数据，便足以评估单个分类器，并且准确评估该分类器的性能。假设我们有 100 万条数据，其中 1 万条作为验证集，1 万条作为测试集，100 万里取 1 万，比例是 1%，即:训练集占 98%，验证集和测试集各占 1%。对于数据量过百万的应用，训练集可以占到 99.5%，验证和测试集各占 0.25%，或者验证集占 0.4%，测试集占 0.1%。

另外，就算没有测试集也不要紧，测试集的目的是对最终所选定的神经网络系统做出无偏估计，如果不需要无偏估计，也可以不设置测试集。所以如果只有验证集，没有测试集，我们要做的就是，在训练集上训练，尝试不同的模型框架，在验证集上评估这些模型，然后迭代并选出适用的模型。因为验证集中已经涵盖测试集数据，其不再提供无偏性能评估。

验证集与测试集有啥区别？为啥要分训练集、验证集和测试集？

参考技术A         测试集与验证集的存在主要是为了把调参与评估泛化能力分为两个相对独立的步骤，体现了正交化思想。

        验证集一般用于进一步确定模型中的超参数（例如正则项系数、神经网络中隐层的节点个数，k值等），而测试集只是用于评估模型的精确度（即泛化能力）。

        举个例子：假设建立一个BP神经网络，对于隐含层的节点数目我们并没有很好的方法取确定，此时一般将节点数设为某一具体的值，通过训练出相应的参数后，再由验证集取检测该模型的误差；然后再改变节点数，重复上述过程，直到模型在验证集上误差最小。此时的节点数可以认为是最优节点数。但是这只是在验证集上的表现最优而已，事实上在调整节点数的这个过程当中，我们已经不知不觉的让调整节点数的方向往达到验证集最小误差这个目标去了。但事实上，在验证集误差最小通常并不代表在整个数据集上的误差也会小（因为我们是利用验证集上的表现来调整超参数的，因此在调整超参数的过程当中，验证集的误差在不断减少是必然的），因此需要另外一个数据集来测试模型真正的泛化能力，即测试集。

        测试集是在模型确定好所有参数之后，根据测试误差来评判这个模型好坏的一个数据集。

        （测试集用的次数越少越好。）