李航统计学习方法(第二版)基本概念：正则化与交叉验证

Posted 2021-02-20 qiu-hua

正则化与交叉验证用于模型选择

1 正则化

正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项(regularizer)或罚项(penalty iterm )。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值就越大。
比如，正则化项可以是模型参数向量的范数。

正则化一般形式：

 

 

正则化形式：

 

2 交叉验证

交叉验证的基木想法是重复地使用数据;把给定的数据进行切分，将切分的数据集组合为训练集与测试集，在此基础上反复地进行训练、测试以及模型选择。

2.1 简单交叉验证

2.2 s折交叉验证

2.3 留一交叉验证