反向传播

Posted terrypython

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了反向传播相关的知识,希望对你有一定的参考价值。

一 预备知识

技术分享图片

技术分享图片

二 反向传播

技术分享图片

取出来一个神经元

技术分享图片

Forward pass


 

技术分享图片

技术分享图片

Backward pass


技术分享图片

第一项比较简单,通过已知的函数可以直接求出:

技术分享图片

第二项就比较复杂,简单的求解过程如下:

技术分享图片

技术分享图片

技术分享图片

 前边的论述是假设有两项是已知的情况,如果不知道呢???

技术分享图片

技术分享图片

技术分享图片

总结:

技术分享图片

 参考:

http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/BP.pdf

https://blog.csdn.net/soulmeetliang/article/details/72873209

以上是关于反向传播的主要内容,如果未能解决你的问题,请参考以下文章

反向传播梯度求解推导

一文搞懂反向传播算法

读懂反向传播算法(bp算法)

前向传播和反向传播

007-卷积神经网络-前向传播-反向传播

Torch反向传播时出错或者梯度为NaN的问题排查