l1和l2正则化

Posted ivyharding

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了l1和l2正则化相关的知识,希望对你有一定的参考价值。

https://blog.csdn.net/tianguiyuyu/article/details/80438630

以上是莫烦对L1和L2的理解

技术图片

l2正则:权重的平方和,也就是一个圆

l1正则:权重的绝对值之和,等价与一个正方形。

图中,正则项和损失项的交点就是最优解的位置,我们可以看到,在只有2个参数的情况下,l1倾向使得某个参数直接为0;l2倾向使得某些参数逼近0

 

再看下吴恩达的理解

技术图片

正则化的意义:在于让高阶的参数逼近0,使其对拟合函数的贡献变小;可以看到theta3和theta4,我们给他很高的系数,在求解最小值的过程中,我们更倾向给theta3和theta4更大的惩罚,使之变得很小很小。

 技术图片

这是某个损失函数增加了L2正则化后的loss

下面是针对加了L2损失函数的梯度下降求解过程

技术图片

 

以上是关于l1和l2正则化的主要内容,如果未能解决你的问题,请参考以下文章

L1正则化和L2正则化

L1、L2正则化知识详解

L1/L2正则化方法

正则化项L1和L2

L1,L2正则化本质

L1正则化和L2正则化的区别