神经网络 - 更新权重矩阵 - 反向传播算法

Posted 2023-03-12

【中文标题】神经网络 - 更新权重矩阵 - 反向传播算法

【英文标题】：Neural Network - updating weight matrix - back-propagation algorithm

【发布时间】：2013-01-22 01:09:53

【问题描述】：

我正在 Andrew Ng 教授的讲座或 this，使用图 31 算法。

我想我理解前向传播和后向传播很好，但在每次迭代后更新权重 (theta) 时会感到困惑。

第一季度。何时以及如何更新权重 (theta) 矩阵 - theta1, theta2？

第二季度。大三角洲有什么用？ [已解决，谢谢@xhudik]

第三季度。我们是否必须添加+1（输入和隐藏层中的偏置单元？）

【问题讨论】：

大写delta的含义在伪代码下面直接解释：它是权重更新的累加器；对具有相同（旧）权重矩阵的所有训练样本进行前向传播。然后更新权重矩阵。我认为这称为批量学习。

@nikie 您能否详细说明一下，如何更新权重矩阵？我在其中找不到任何东西，或者我可能遗漏了一些东西

如果您使用梯度下降，您只需将梯度乘以某个学习率添加到权重中。

我正在使用反向传播算法，所以它像 - w（l 层的权重矩阵）= w + learning_rate * delta（该层的）* x（输入向量）吗？我真的很困惑......可能是它的愚蠢问题，但仍然！

@codemuncher 我不是很擅长神经网络，但是 AFAIK 你的方程是正确的，然而，证明它的最好方法是实现一些算法并将结果与​​一些已经工作的 NN 进行比较（例如，Andrew Ng 教授的 coursera.org 机器学习课程中的一些任务）- 祝你好运！

【参考方案1】：

Q1：由@nikie 解释（荣誉）

Q2：Andrew NG 的演讲很棒。但是，您指向的是高级并且想要了解详细信息。这个怎么样：http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html 它通过有用的图形为您提供更多细节

【讨论】：

嘿@xhudik，这很棒，但我还没有完成第一季度！我真的不懂更新规则...

在传递数据的过程中会更新 wights。每次通过都会更新权重。如何 - 它在文章中进行了解释。不幸的是，它不是不言自明的，需要时间才能完全理解......