反向传播

Posted wumh7

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了反向传播相关的知识,希望对你有一定的参考价值。

本文假设你已经对基本的神经网络结构,梯度下降法有一定的了解。
反向传播,主要是链式法则的反复应用。(链式法则是微积分中的求导法则,用于求一个复合函数的导数)
一个基本的神经网络模型可以表示为如下图所示:
技术分享图片
其中(L_1)层是输入层,(L_2)层是隐藏层,(L_3)层是输出层。

  1. 参考文献:http://www.cnblogs.com/charlotte77/p/5629865.html
  2. 百度百科-链式法则




以上是关于反向传播的主要内容,如果未能解决你的问题,请参考以下文章

反向传播梯度求解推导

一文搞懂反向传播算法

读懂反向传播算法(bp算法)

前向传播和反向传播

007-卷积神经网络-前向传播-反向传播

Torch反向传播时出错或者梯度为NaN的问题排查