反向传播算法推导

Posted cjt-blog

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了反向传播算法推导相关的知识,希望对你有一定的参考价值。

技术图片

 

一、MSE 损失函数推导

前向传播过程:

技术图片

 

梯度反向传播公式推导:

定义残差:技术图片

技术图片

 

残差推导如下:

对于最后一层:

技术图片

 

广义上,左边项(-(···))是定义的损失函数对其输入(即最后一层神经元值)的导数,右项是sigmoind求导,这两项都是根据实际使用可以替换的。

 

对于隐藏层:

技术图片

 

 

若去掉下标i,则有

技术图片

其中技术图片的操作是把两个向量对应元素相乘组成新的元素。

 

 参考:

https://www.cnblogs.com/nowgood/p/backprop2.html

https://zhuanlan.zhihu.com/p/25416673

 

 二、交叉熵损失函数推导

只放出最后一层残差:

技术图片

技术图片

参考:https://blog.csdn.net/Charel_CHEN/article/details/81266838

 

 三、二元交叉熵损失梯度推导

技术图片

参考:https://blog.csdn.net/chansonzhang/article/details/84674144

 

四、L2正则化以及反向传播

技术图片

参考:https://blog.csdn.net/obrightlamp/article/details/85290929

 

五、CNN反向传播算法总结

技术图片

技术图片

 

 注释:CNN反向传播主要解决四个问题

技术图片

一二问对应步骤d-3,三问对应步骤d-2,四问对应步骤2-2-2.

具体推导细节请移步:https://www.cnblogs.com/pinard/p/6494810.html

以上是关于反向传播算法推导的主要内容,如果未能解决你的问题,请参考以下文章

反向传播算法推导

反向传播算法数学推导

如何理解神经网络里面的反向传播算法

经典反向传播算法公式详细推导

经典反向传播算法公式详细推导

卷积神经网络(CNN)反向传播算法公式详细推导