反向传播四个基本方程

Posted 2022-01-28 zizi7

定义

$$\begin{array}{rlr}{z}_j^l& =\sum _k{w}_{jk}^l{a}_k^{l-1}+b_j^l& (1.1)\\ a_j^l& =\sigma (z_j^l)& (1.2)\\ C& =\frac{1}{2}\sum _j(y_j-a_j^l{)}^2& (1.3)\end{array}$$

其中

• $z_j^l$为第$l$层第$j$个神经元激活函数的带权输入
• $a_j^l$为第$l$层第$j$个神经元的激活输出，$\sigma$是激活函数
• $C$为输出层二次代价函数

定义第$l$层的第$j$个神经元的误差${\delta }_j^l$为：

$${\delta }_j^l=\frac{\partial C}{\partial z_j^l}\text{\hspace{1em}(2)}$$

---

BP基本方程

$$\begin{array}{rlrlr}& {\delta }_j^L& =& (a_j^L-y_j){\sigma }^{\prime }(z_j^L)& (3.1)\\ & {\delta }_j^l& =& {\sigma }^{\prime }(z_j^l)\sum _k{w}_{kj}^{l+1}{\delta }_k^{l+1}& (3.2)\\ & \frac{\partial C}{\partial b_j^l}& =& {\sigma }_j^l& (3.3)\\ & \frac{\partial C}{\partial w_{jk}^l}& =& a_k^{l-1}{\delta }_j^l& (3.4)\end{array}$$

其中

• ${\delta }_j^L$是输出层第$j$个神经元误差
• ${\delta }_j^l$是第$l$层第$j$个神经元误差，式(3.2)实现了通过下一层的误差计算当前层误差
• $\frac{\partial C}{\partial b_j^l}$是代价函数关于网络中第$l$层第$j$个偏置的改变率，式(3.3)说明了该改变率就是对应神经元的误差
• ∂ C ∂ w j k l \\frac\\partial C\\partial w_jk^l 以上是关于反向传播四个基本方程的主要内容，如果未能解决你的问题，请参考以下文章

  反向传播四个基本方程

  反向传播四个基本方程

  第二节，神经网络中反向传播四个基本公式证明——BackPropagation

  《neural network and deep learning》题解——ch02 反向传播

  如何理解CNN神经网络里的反向传播backpropagation，bp算法

  如何从头开始调试反向传播实现？