α-LMS算法挫折问题

Posted 2023-03-28

【中文标题】α-LMS算法挫折问题

【英文标题】：α-LMS‬ algorithm setback issue

【发布时间】：2017-04-02 23:41:53

【问题描述】：

我正在使用 α-LMS 算法为 MNIST 数据集制作分类器。

我只在预测输出与期望输出不匹配时更新权重，以下是更新权重的方式：

我希望残差在每次迭代中都会下降（并且准确度会上升）（我不应该吗？）。

虽然整体准确度似乎在上升，但在某些迭代中算法会回落。

我需要知道在这个算法中发生挫折是否正常，是否是为什么会这样？

【参考方案1】：

如果数据可以用公式表示，那么找到该公式是可行的。 当需要算法时（没有公式），收敛速度和准确性很大程度上取决于数据。如果您能够使用多个数据集，您会看到不同的图表。

【讨论】：

所以你的意思是这种行为并不意外？这意味着尽管我们在每次迭代中都会有更好的权重集，但最终结果可能会更差？

每次迭代都可能变得更糟或更好，具体取决于数据。 通常会更好。想一想：作为一个人类，您可能会在某些手写体中使用“o”而不是“a”时出错。