训练模型:交叉验证

Posted xyp666

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了训练模型:交叉验证相关的知识,希望对你有一定的参考价值。

一.基本概述

用交叉验证的目的是为了得到可靠稳定的模型。

消除测试集与训练集选择的不好,导致训练的模型不好。

 

二.k折交叉验证

K折交叉验证,初始采样分割成K个子样本,一个单独的子样本被保留作为验证模型的数据,其他K-1个样本用来训练。交叉验证重复K次,每个子样本验证一次,平均K次的结果或者使用其它结合方式,最终得到一个单一估测。

这个方法的优势在于,同时重复运用随机产生的子样本进行训练和验证,每次的结果验证一次,10折交叉验证是最常用的。

技术分享图片

k 折交叉验证通过对 k 个不同分组训练的结果进行平均来减少方差,因此模型的性能对数据的划分就不那么敏感。

  • 第一步,不重复抽样将原始数据随机分为 k 份。
  • 第二步,每一次挑选其中 1 份作为测试集,剩余 k-1 份作为训练集用于模型训练。
  • 第三步,重复第二步 k 次,这样每个子集都有一次机会作为测试集,其余机会作为训练集。
  • 在每个训练集上训练后得到一个模型,
  • 用这个模型在相应的测试集上测试,计算并保存模型的评估指标,
  • 第四步,计算 k 组测试结果的平均值作为模型精度的估计,并作为当前 k 折交叉验证下模型的性能指标。

k 一般取 10, 
数据量小的时候,k 可以设大一点,这样训练集占整体比例就比较大,不过同时训练的模型个数也增多。 
数据量大的时候,k 可以设小一点。

当 k=m 即样本总数时,叫做 3. 留一法(Leave one out cross validation),每次的测试集都只有一个样本,要进行 m 次训练和预测。 
这个方法用于训练的数据只比整体数据集少了一个样本,因此最接近原始样本的分布。 
但是训练复杂度增加了,因为模型的数量与原始数据样本数量相同。 
一般在数据缺乏时使用。

此外:

  1. 多次 k 折交叉验证再求均值,例如:10 次 10 折交叉验证,以求更精确一点。
  2. 划分时有多种方法,例如对非平衡数据可以用分层采样,就是在每一份子集中都保持和原始数据集相同的类别比例。
  3. 模型训练过程的所有步骤,包括模型选择,特征选择等都是在单个折叠 fold 中独立执行的。

还有一种比较特殊的交叉验证方式,Bootstrapping: 通过自助采样法,即在含有 m 个样本的数据集中,每次随机挑选一个样本,再放回到数据集中,再随机挑选一个样本,这样有放回地进行抽样 m 次,组成了新的数据集作为训练集。

这里会有重复多次的样本,也会有一次都没有出现的样本,原数据集中大概有 36.8% 的样本不会出现在新组数据集中。

优点是训练集的样本总数和原数据集一样都是 m,并且仍有约 1/3 的数据不被训练而可以作为测试集。 
缺点是这样产生的训练集的数据分布和原数据集的不一样了,会引入估计偏差。 
此种方法不是很常用,除非数据量真的很少。

 








以上是关于训练模型:交叉验证的主要内容,如果未能解决你的问题,请参考以下文章

交叉验证

交叉验证

机器学习笔记:交叉验证

5倍交叉验证如何理解

交叉验证(Cross Validation)原理小结

交叉验证(Cross Validation)原理小结