DAY8(机器学习--正则化总结)

Posted 2022-05-12 apinke

作用：正则化是一种有效的防止过拟合、提高模型泛化能力方法，在机器学习和深度学习算法 中应用非常广泛，在早期的机器学习领域一般只是将范数惩罚叫做正则 化技术，而在深度学习领域认为：能够显著减少方差，而不过度增加偏差的策略都可以认为 是正则化技术，故此推广的正则化技术还有：扩增样本集、早停止、Dropout、集成学习、多 任务学习、对抗训练、参数共享等（具体见花书）

对于正则化的认识则依据此图进行说明：

1.正则化等价于结构风险最小化，其是通过在经验风险项后加上表示模型复杂度的正 则化项或惩罚项，达到选择经验风险和模型复杂度都较小的模型目的。

 表示结构风险，

表示第i 个样本的经验风险，如图上的偏差

，是表征模型 复杂度的正则项，当方差过高的时候就是过拟合（函数）lambda是正则化参数