训练集验证集和测试集的作用和区别

Posted edison25

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了训练集验证集和测试集的作用和区别相关的知识,希望对你有一定的参考价值。

1 训练集和验证集

训练集(train):就是用来训练神经网络参数的,说准确点,一般是用来梯度下降的。

验证集(validation):基本是在每个epoch完成后,用来测试一下当前模型的准确率。

 

2 为什么还需要测试集?

验证集不参与训练,跟训练集也没有交集,这个准确率是可靠的,那么为啥还需要一个测试集(test)呢?

 

事实上,对于一个模型来说,其参数可以分为普通参数超参数。在不引入强化学习的前提下,普通参数就是可以被梯度下降所更新的,也就是训练集所更新的参数。另外,还有超参数的概念,比如网络层数、网络节点数、迭代次数、学习率等等,这些参数不在梯度下降的更新范围内。尽管现在已经有一些算法可以用来搜索模型的超参数,但多数情况下我们还是自己人工根据验证集来调。

 

所以

 

那也就是说,从狭义来讲,验证集没有参与梯度下降的过程,也就是说是没有经过训练的;但从广义上来看,验证集却参与了一个“人工调参”的过程,我们根据验证集的结果调节了迭代数、调节了学习率等等,使得结果在验证集上最优。因此,我们也可以认为,验证集也参与了训练。

 

所以,我们还需要一个完全没有经过训练的集合,那就是测试集,我们既不用测试集梯度下降,也不用它来控制超参数,只是在模型最终训练完成后,用来测试一下最后准确率。

 

3 无休止的过程

然而

 

聪明的读者就会类比到,其实这是一个无休止的过程。如果测试集准确率很差,那么我们还是会去调整模型的各种参数,这时候又可以认为测试集也参与训练了。好吧,我们可能还需要一个“测试测试集”,也许还需要“测试测试测试集”...

 

算了吧,还是在测试集就停止吧。

 

 

4 划分

如果我们自己已经有了一个大的标注数据集,想要完成一个有监督模型的测试,那么通常使用均匀随机抽样的方式,将数据集划分为训练集、验证集、测试集,这三个集合不能有交集,常见的比例是8:1:1,当然比例是人为的。从这个角度来看,三个集合都是同分布的。

如果是做比赛,官方只提供了一个标注的数据集(作为训练集)以及一个没有标注的测试集,那么我们做模型的时候,通常会人工从训练集中划分一个验证集出来。这时候我们通常不再划分一个测试集,可能的原因有两个:1、比赛方基本都很抠,训练集的样本本来就少;2、我们也没法保证要提交的测试集是否跟训练集完全同分布,因此再划分一个跟训练集同分布的测试集就没多大意义了。

 参考:https://www.jianshu.com/p/7e032a8aaad5

以上是关于训练集验证集和测试集的作用和区别的主要内容,如果未能解决你的问题,请参考以下文章

训练集,验证集,测试集的作用

验证集与测试集有啥区别?为啥要分训练集、验证集和测试集?

验证集和测试集的区别

训练集验证集和测试集的意义(转)

测试数据集 和验证数据集 之间的区别

为啥要划分训练集、验证集和测试集