深度学习如何分配训练集验证集测试集比例

Posted 2023-03-03 落难Coder

一、小规模数据集

对于传统机器学习阶段（数据集在万这个数量级），一般分配比例为训练集和测试集的比例为7:3或是8:2。为了进一步降低信息泄露同时更准确的反应模型的效能，更为常见的划分比例是训练集、验证集、测试的比例为6：2：2。

对于小规模样本集（几万量级），常用的分配比例是 60% 训练集、20% 验证集、20% 测试集。

二、大规模数据集

而大数据时代，这个比例就不太适用了。因为百万级的数据集，即使拿1%的数据做test也有一万之多，已经足够了。可以拿更多的数据做训练。因此常见的比例可以达到98：1：1，甚至可以达到99.5：0.3：0.2等。

对于大规模样本集（百万级以上），只要验证集和测试集的数量足够即可，例如有 100w 条数据，那么留 1w 验证集，1w 测试集即可。1000w 的数据，同样留 1w 验证集和 1w 测试集。