L1和L2正则
Posted ryluo
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了L1和L2正则相关的知识，希望对你有一定的参考价值。
L1和L2在不同领域的不同叫法
机器学习领域：正则化项
统计学领域：惩罚项
数学领域：范数
Lasso和Ridge回归
在Lasso回归中正则化项是用的L1，L1是绝对值距离也叫做哈曼顿距离。Lasso回归可以压缩一些系数，把一些系数变为0，是一种处理具有复共线性数据的有偏估计。
在Ridge回归中正则化项是用的L2，L2是平方距离也叫做欧式距离。是一种专门应用于共线性数据的回归方法。
对于L1和L2都有一个公共的参数lambda,lambda可以通过交叉验证(cv)来确定。
实现参数的稀疏有什么好处？
可以简化模型，防止过拟合。因为一个模型中真正有用的参数并不多，如果考虑所有的参数可能在训练数据集上表现的很好，但在测试集上则不好。另外，参数少使整个模型可以得到更好的解释。
参数值越小代表模型越简单吗？
是的。因为模型越复杂越是会对所有样本进行拟合，所以有些异常点也进行了拟合，这就会导致较小的区间里引起的波动比较大。所以复杂的模型，参数值会比较大。
总结
L1会趋向于产生少量的特征，而其他的特征都是0，而L2会选择更多的特征，这些特征都会接近于0。Lasso在特征选择时候非常有用，而Ridge就只是一种规则化而已。在所有特征中只有少数特征起重要作用的情况下，选择Lasso比较合适，因为它能自动选择特征。而如果所有特征中，大部分特征都能起作用，而且起的作用很平均，那么使用Ridge也许更合适
以上是关于L1和L2正则的主要内容，如果未能解决你的问题，请参考以下文章