反向传播四个基本方程
Posted zizi7
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了反向传播四个基本方程相关的知识，希望对你有一定的参考价值。
定义
z j l = ∑ k w j k l a k l − 1 + b j l ( 1.1 ) a j l = σ ( z j l ) ( 1.2 ) C = 1 2 ∑ j ( y j − a j l ) 2 ( 1.3 ) \\begin{aligned} z_j^l&=\\sum_kw_{jk}^la_k^{l-1}+b_j^l&(1.1)\\\\ a_j^l&=\\sigma(z_j^l)&(1.2)\\\\ C&=\\frac{1}{2}\\sum_j(y_j-a_j^l)^2&(1.3) \\end{aligned} zjlajlC=k∑wjklakl−1+bjl=σ(zjl)=21j∑(yj−ajl)2(1.1)(1.2)(1.3)
其中
- z j l z_j^l zjl为第 l l l层第 j j j个神经元激活函数的带权输入
- a j l a_j^l ajl为第 l l l层第 j j j个神经元的激活输出， σ \\sigma σ是激活函数
- C C C为输出层二次代价函数
定义第 l l l层的第 j j j个神经元的误差 δ j l \\delta_j^l δjl为：
δ j l = ∂ C ∂ z j l (2) \\delta_j^l=\\frac{\\partial C}{\\partial z_j^l}\\tag{2} δjl=∂zjl∂C(2)
BP基本方程
δ j L = ( a j L − y j ) σ ′ ( z j L ) ( 3.1 ) δ j l = σ ′ ( z j l ) ∑ k w k j l + 1 δ k l + 1 ( 3.2 ) ∂ C ∂ b j l = σ j l ( 3.3 ) ∂ C ∂ w j k l = a k l − 1 δ j l ( 3.4 ) \\begin{aligned} &\\delta_j^L&=&(a_j^L-y_j)\\sigma'(z_j^L)&(3.1)\\\\ &\\delta_j^l&=&\\sigma'(z_j^l)\\sum_kw_{kj}^{l+1}\\delta_k^{l+1}&(3.2)\\\\ &\\frac{\\partial C}{\\partial b_j^l}&=&\\sigma_j^l&(3.3)\\\\ &\\frac{\\partial C}{\\partial w_{jk}^l}&=&a_k^{l-1}\\delta_j^l&(3.4) \\end{aligned} δjLδjl∂bjl∂C∂wjkl∂C====(ajL−yj)σ′(zjL)σ′(zjl)k∑wkjl+1δkl+1σjlakl−1δjl(3.1)(3.2)(3.3)(3.4)
其中
- δ j L \\delta_j^L δjL是输出层第 j j j个神经元误差
- δ j l \\delta_j^l δjl是第 l l l层第 j j j个神经元误差，式(3.2)实现了通过下一层的误差计算当前层误差
- ∂ C ∂ b j l \\frac{\\partial C}{\\partial b_j^l} ∂bjl∂C是代价函数关于网络中第 l l l层第 j j j个偏置的改变率，式(3.3)说明了该改变率就是对应神经元的误差
-
∂
C
∂
w
j
k
l
\\frac{\\partial C}{\\partial w_{jk}^l}
第二节，神经网络中反向传播四个基本公式证明——BackPropagation
《neural network and deep learning》题解——ch02 反向传播