L2 正则详解及反向求导

Posted antoniosu

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了L2 正则详解及反向求导相关的知识,希望对你有一定的参考价值。

1.欧氏距离

技术图片

 

 

 2.L2范数

 

技术图片

 

 

3.l2正则化

 

1).作用

L2的作用是防止参数太大。

2).求导过程

Wij是参数矩阵

假设神经网络表达式如下

技术图片

 

 

使用绝对值损失,对应的y‘是true label

技术图片

 

加入L2损失,损失函数变为如下

技术图片

 

按照链式求导法则,损失L对W的导数如下:

 技术图片

 

  

新参数的更新如下:

技术图片

 

 同理可以对bias有L2损失。

以上是关于L2 正则详解及反向求导的主要内容,如果未能解决你的问题,请参考以下文章

CNN的反向求导及练习

CNN的反向求导及练习

Deep Learning基础--CNN的反向求导及练习

机器学习Softmax及求导

[Pytorch系列-21]:Pytorch基础 - 反向链式求导的全过程拆解

人工智能学习笔记6:张量求导反向传播