脱离公式谈谈对反向传播算法的理解
Posted CSU迦叶
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了脱离公式谈谈对反向传播算法的理解相关的知识,希望对你有一定的参考价值。
机器学习的训练过程可看作是最优化问题的求解过程。
根据原理
对于函数f(x),如果f(x)在点xt附近是连续可微的,那么f(x)下降最快的方向是f(x)在xt点的梯度的反方向
得到最简单最常用的优化算法:梯度下降法(Gradient Descent Method)。
可以想见,这个算法的迭代公式中的重要参数是梯度。即损失函数(多元函数)对每个变量的偏导数。
问题转化为损失函数对权重向量和偏置求偏导数。
再根据导数的链式法则,两个偏导数都变成误差项和另一个导数的乘积。
这里的误差项,写法上是损失函数对所在层线性组合函数(判别函数)求导。
误差项是反向传播的核心概念。
从意义上,误差项反映了最终损失对某一层神经元的敏感程度,也间接反映了不同神经元对网络能力的贡献程度。
从计算上,把误差项再利用链式法则进行展开,会发现:
误差的反向传播(BackPropagation,BP):第l层的误差项可以通过第l+1层的误差项计算得到。
如果把这个展开式描述一下,就得到了反向传播算法的含义:
第l层的一个神经元的误差项是所有与该神经元相连的第l+1层的神经元的误差项的权重和,再乘上该神经元激活函数的梯度。
注意:误差项的计算仅仅是训练过程的一部分,其余的量都是正向得到的。
参考:邱锡鹏 《神经网络与深度学习》
以上是关于脱离公式谈谈对反向传播算法的理解的主要内容,如果未能解决你的问题,请参考以下文章