l1和l2正则化
Posted ivyharding
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了l1和l2正则化相关的知识,希望对你有一定的参考价值。
https://blog.csdn.net/tianguiyuyu/article/details/80438630
以上是莫烦对L1和L2的理解
l2正则:权重的平方和,也就是一个圆
l1正则:权重的绝对值之和,等价与一个正方形。
图中,正则项和损失项的交点就是最优解的位置,我们可以看到,在只有2个参数的情况下,l1倾向使得某个参数直接为0;l2倾向使得某些参数逼近0
再看下吴恩达的理解
正则化的意义:在于让高阶的参数逼近0,使其对拟合函数的贡献变小;可以看到theta3和theta4,我们给他很高的系数,在求解最小值的过程中,我们更倾向给theta3和theta4更大的惩罚,使之变得很小很小。
这是某个损失函数增加了L2正则化后的loss
下面是针对加了L2损失函数的梯度下降求解过程
以上是关于l1和l2正则化的主要内容,如果未能解决你的问题,请参考以下文章