数据分区中的类标签

Posted 2023-03-12

【中文标题】数据分区中的类标签

【英文标题】：Class labels in data partitions

【发布时间】：2013-12-24 14:04:23

【问题描述】：

假设有人将数据划分为训练/验证/测试集以进一步应用某种分类算法，而训练集恰好不包含完整数据集中存在的所有类标签 - 比如说一些带有标签的记录“x”只出现在验证集中，而不出现在训练中。

这是有效的分区吗？以上可能会产生许多后果，例如混淆矩阵将不再是正方形，而且在算法期间我们可能会评估错误，这会受到训练集中看不见的标签的影响。

第二个问题是：分区算法是否通常会考虑上述问题并以训练集具有所有现有标签的方式对数据进行分区？

【参考方案1】：

这就是分层抽样应该解决的问题。

https://en.wikipedia.org/wiki/Stratified_sampling