机器学习笔记：反向传播
Posted UQI-LIUWJ
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了机器学习笔记：反向传播相关的知识，希望对你有一定的参考价值。
1 共享路径
对于每一个可学习的参数w，我们都需要通过梯度下降更新它的值。而我们可以使用反向传播的思路来求解损失函数在某一个参数上的loss
如上图所示，
可以用如下方式运算
可以发现 ，上图红色圈起来的部分是共享的
2 使用反向传播的条件
1，链式法则成立（任何时候都成立）
2，计算图无环
2.1 链式法则
3 forward pass VS backward pass
根据链式法则，C对w的偏导数可以分为前向pass和后向pass
3.1 forward pass
结果就是相应的input x的值
3.2 backward pass
backpass 又可以分成两项：
前一项就是我们相对应的激活函数的微分
如果a被作为input，输入到了w3和w4两个neuron中，那么根据链式法则，有上面一行
综合一下有：
4 反向的前馈神经网络思考反向传播
对于这个，我们可以想成反向的前馈神经网络：
以上是关于机器学习笔记：反向传播的主要内容，如果未能解决你的问题，请参考以下文章
[机器学习] UFLDL笔记 - Convolutional Neural Network - 反向传播与梯度计算