脱离公式谈谈对反向传播算法的理解

Posted 2022-02-03 CSU迦叶

机器学习的训练过程可看作是最优化问题的求解过程。

根据原理

对于函数f(x),如果f(x)在点xt附近是连续可微的，那么f(x)下降最快的方向是f(x)在xt点的梯度的反方向

得到最简单最常用的优化算法：梯度下降法(Gradient Descent Method)。

可以想见，这个算法的迭代公式中的重要参数是梯度。即损失函数(多元函数)对每个变量的偏导数。

问题转化为损失函数对权重向量和偏置求偏导数。

再根据导数的链式法则，两个偏导数都变成误差项和另一个导数的乘积。

这里的误差项，写法上是损失函数对所在层线性组合函数(判别函数)求导。

误差项是反向传播的核心概念。

从意义上，误差项反映了最终损失对某一层神经元的敏感程度，也间接反映了不同神经元对网络能力的贡献程度。

从计算上，把误差项再利用链式法则进行展开，会发现：

误差的反向传播(BackPropagation,BP)：第l层的误差项可以通过第l+1层的误差项计算得到。

如果把这个展开式描述一下，就得到了反向传播算法的含义：

第l层的一个神经元的误差项是所有与该神经元相连的第l+1层的神经元的误差项的权重和，再乘上该神经元激活函数的梯度。

注意：误差项的计算仅仅是训练过程的一部分，其余的量都是正向得到的。

参考：邱锡鹏 《神经网络与深度学习》