反向传播 - 误差导数

Posted 2023-03-12

【中文标题】反向传播 - 误差导数

【英文标题】：Backpropagation - error derivative

【发布时间】：2016-05-09 02:21:10

【问题描述】：

我正在学习用于训练神经网络的反向传播算法。这有点道理，但还有一部分我不明白。

据我了解，误差导数是针对网络中的所有权重计算的。这会导致误差梯度，其维数是网络中的权重数。然后，通过这个梯度的负值乘以学习率来改变权重。

这似乎是对的，但为什么梯度没有归一化？ delta向量的长度与梯度向量的长度成正比的原因是什么？

【参考方案1】：

您无法标准化渐变。实际上，在反向传播中，您有误差梯度下降法。相反，您可以标准化和缩放您的输入。然后它会给你在误差面上的比例运动，而在误差面上的比例运动会给你更快的方法来接近局部或有时是全局最小值。 Here 你可以看到规范化作用的解释