机器学习笔记正则化

Posted 2020-09-18

一、过拟合问题

分类模型复杂、数据资料含有噪声、数据量少的情况下能发生过拟合的现象，对于不同的模型复杂度，随着资料量的增大，模型的Ein和Eout变化为：

噪声、模型复杂度与数据资料量三者对于过拟合的影响：

二、正则化

对于较为复杂的模型，需要加入正则化，是高次的项系数权重为0（或接近零），使之变为较低的次方项的模型，以防止过拟合的发生。

例如，将Q为10次方的复杂模型，正则化为Q为2次方的模型，条件为

直接求解使w为0的不太容易，是一个NP-hard问题，所以转化为求，即

 

等价于求解最小的，即，其中

，对于特征值较小的维度来说，高次方的项会得到很小的数，需要对应很大的w来提高影响力，但正则化不允许有很大的w存在，解决方法变更一下特征转换的形式：