深度学习中的参数梯度推导：深度神经网络（DNN）的前传与反传

Posted 2021-04-19 5G融智未来

前言

在深度学习中的参数梯度推导（一）的上篇和下篇中，我们总结了一些用于推导神经网络反向梯度求导的重要的数学技巧。此外，通过一个简单的demo，我们初步了解了使用矩阵求导来批量求神经网络参数的做法。在接下来的章节，我们将专门针对DNN/FNN这种网络结构进行前向传播介绍和反向梯度推导。

注意：本文默认读者已具备深度学习上的基本知识

2.1

DNN的前传

下面是两张DNN的示意图：

2.2

深度神经网络（DNN）反向传播算法(BP)

在进行DNN反向传播算法前，我们需要选择一个损失函数，来度量训练样本计算出的输出和真实的训练样本输出之间的损失。这里用mse作为损失函数，则loss计算公式如下：

2.3

总结

参考资料

• https://www.cnblogs.com/pinard/category/894690.html

深度学习

TO BE CONTINUED

数学

往期 · 推荐

●

●

●

你们点点“分享”，给我充点儿电吧~