反向传播算法数学推导

Posted 吕吕吕吕吕

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了反向传播算法数学推导相关的知识,希望对你有一定的参考价值。

虽然数学不是那么好,但还是要对这个经典算法真正推导一遍心里才安稳。

主要参考资料:ufldl

开始:首先要明确,反向传播算法,是为了计算loss相对于w,b的偏导数,以此来更新每次学习的w,b,是一个巧妙地计算方法。

首先定义loss函数:

乍一看,这怎么求关于每个权值的偏导数呢?别急,反向传播算法的一个巧妙之处就是没有直接去定义loss相对于w,b的偏导数,而是先定义了一个残差的概念

 

以下直接上手写图了(太多公式):

一些注意点明天写!

 

以上是关于反向传播算法数学推导的主要内容,如果未能解决你的问题,请参考以下文章

神经网络-反向传播BP算法推导

反向传播算法之要点(Backpropagation)

反向传播梯度求解推导

反向传播算法推导

如何理解神经网络里面的反向传播算法

如何理解CNN神经网络里的反向传播backpropagation,bp算法