L2 正则详解及反向求导
Posted antoniosu
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了L2 正则详解及反向求导相关的知识,希望对你有一定的参考价值。
1.欧氏距离
2.L2范数
3.l2正则化
1).作用
L2的作用是防止参数太大。
2).求导过程
Wij是参数矩阵
假设神经网络表达式如下
使用绝对值损失,对应的y‘是true label
加入L2损失,损失函数变为如下
按照链式求导法则,损失L对W的导数如下:
新参数的更新如下:
同理可以对bias有L2损失。
以上是关于L2 正则详解及反向求导的主要内容,如果未能解决你的问题,请参考以下文章