L1和L2正则

Posted ryluo

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了L1和L2正则相关的知识,希望对你有一定的参考价值。

L1和L2在不同领域的不同叫法

机器学习领域:正则化项

统计学领域:惩罚项

数学领域:范数

Lasso和Ridge回归

在Lasso回归中正则化项是用的L1,L1是绝对值距离也叫做哈曼顿距离。Lasso回归可以压缩一些系数,把一些系数变为0,是一种处理具有复共线性数据的有偏估计。

在Ridge回归中正则化项是用的L2,L2是平方距离也叫做欧式距离。是一种专门应用于共线性数据的回归方法。

对于L1和L2都有一个公共的参数lambda,lambda可以通过交叉验证(cv)来确定。

实现参数的稀疏有什么好处?

可以简化模型,防止过拟合。因为一个模型中真正有用的参数并不多,如果考虑所有的参数可能在训练数据集上表现的很好,但在测试集上则不好。另外,参数少使整个模型可以得到更好的解释。

参数值越小代表模型越简单吗?

是的。因为模型越复杂越是会对所有样本进行拟合,所以有些异常点也进行了拟合,这就会导致较小的区间里引起的波动比较大。所以复杂的模型,参数值会比较大。

总结

L1会趋向于产生少量的特征,而其他的特征都是0,而L2会选择更多的特征,这些特征都会接近于0。Lasso在特征选择时候非常有用,而Ridge就只是一种规则化而已。在所有特征中只有少数特征起重要作用的情况下,选择Lasso比较合适,因为它能自动选择特征。而如果所有特征中,大部分特征都能起作用,而且起的作用很平均,那么使用Ridge也许更合适

以上是关于L1和L2正则的主要内容,如果未能解决你的问题,请参考以下文章

L1正则化和L2正则化

L1、L2正则化知识详解

机器学习--线性回归中L1正则和L2正则

正则化项L1和L2

L1/L2正则化方法

L1,L2正则化本质