如何使用交叉验证 Cross Validation

Posted 2022-12-11 Maggie张张

        在机器学习的相关研究中，如果是有监督的算法，需要将原始数据集分为训练集和测试集两个集合。训练集中的数据带有标签，用这些数据来训练出一个模型，告诉机器什么样的数据可以分成哪一类，然后用这个模型来预测测试集中数据的标签。然后用预测得到的标签跟真实的标签作比对，就可以得到这个模型的预测准确率，其实是考察这个模型的generalization ability（泛化能力），即，从训练集中总结出来的规律能不能用到别的数据上去。

        那么，怎样分训练集和测试集呢？需要考虑两个问题：

         1. 训练集中的数据要足够多，一般要大于原始数据集的一般，否则总结出来的规律太小众

         2. 两组集合必须是原始集合的均匀取样，否则比如说，训练集选择都是1类数据，测试集都是2类数据，训练之后模型知道1类数据的特点，用它来分别2类数据，这好难。。。

        于是，cross validation的目的就是：科学地统计训练模型的泛化能力。

        cross validation可以分成三种： double CV， k-fold CV,   leave-one-out.

         (1) double CV

         原理：将每一类别下的数据平均分成两份，从每一类中各取一份组合起来做training，剩下的做testing。然后再把training和testing交换。这样就可以训练两次，得到两个模型，也得到两个accuracy，把这两个值平均一下，就是整个模型的分类准确率。

         (2) k-fold CV

         原理：其实是double CV的一般化。把每一类别下的数据平均分成k份。从每一类中各取一份组合起来testing, 剩下的做training。然后再换一个每一类别下的子集，一共有k种组合方式，就可以得到k个模型，也就可以得到k个accuracy， 把这k个值做平均，就是整个模型的分类准确率。

         下图是3-fold CV的示意图。

                         

                一般来说，10折就已经足够多了，这样就可以保证训练集所用的数据是足够多的。

         （3）leave-one-out

                  原理：每一个样本单独做一次test set，剩下的都拿来做train set，这样的话原始数据集有N个样本，就可以训练出N和模型，得到N和准确率，再做平均。

                 优点比较明显：

                 1. 每一回合几乎所有的样本都用来作训练，训练样本呢非常接近与原始集合，估测得到的generalization ability比较可靠

                 2. 实验过程中没有随机因素会影响实验数据（前两种方法中把样本平均切割成k份，是有随机性的）

                 同时缺点也是显而易见的：计算代价高，如果N比较大，那得算所长时间（如果算一次都比较久的话。。）