在反向传播算法中更新权重

Posted 2023-02-16

【中文标题】在反向传播算法中更新权重

【英文标题】：Updating weights in backpropagation algorithm

【发布时间】：2016-04-14 01:21:32

【问题描述】：

我想我已经理解了反向传播算法的每一步，但最重要的一步。权重如何更新？就像本教程的结尾一样？ http://home.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html

【问题讨论】：

我投票结束这个问题，因为它与 NN 实现无关

【参考方案1】：

权重更新是通过您提供的页面最后部分 (Backpropagation) 中编写的方程式完成的。 让我详细说明一下：

新权重 = 旧权重 - 学习率 x 损失函数 w.r.t 的偏导数。参数

对于给定的权重，计算（可以通过反向传播误差轻松完成），它只是函数的最陡方向并减去它的缩放版本，比例因子是步长或者你想朝那个方向迈出多大的一步。 在查看您提出问题的方式后，我认为您可能需要一点澄清......

究竟什么是反向传播？

反向传播只是快速评估损失函数 w.r.t 的偏导数的一种技巧。所有重量。它与权重更新无关。更新权重是梯度下降算法的一部分。

【讨论】：

为什么是 New_Weight = Old_Weight MINUS... 而不是 Old_Weight PLUS...？

@datdinhquoc 这取决于您如何计算错误/损失。例如。如果你做了obtained_value - target values，你需要添加权重，否则减去它们。