区分人工神经网络中的学习和记忆

Posted 2021-04-25

是否有一个很好的资源可以清楚地解释人工神经网络的学习和记忆之间的区别 - 如果源包含数学解释和/或证据，那就更好了。我已经在网上和通过文献查看，但大多数只是使用示例来演示，例如对象检测或识别。例如：this，this也this ......名单很长。我发现这个不足。我知道这个问题可能听起来有点模糊，但是，这样的事情，作为一个门槛存在，系统只是记忆或已经学会了？非常感谢你。

答案

我不知道任何证据来源，但神经网络本质上是过度拟合/过度训练的非常好的分类器。如果你使用比你需要的更复杂的网络（你通常不知道它是什么）当然）你可能会推翻模型。规范化和退出用于防止或至少减少神经网络的过度拟合。

当你的模型过度拟合它意味着它只找到了一个模型，用于特定的样本分布，类似于你训练模型的样本，因此失去了对所有看不见的输入进行推广的能力。这种行为称为记忆，记忆也可能发生在你的样品/输入中有订单但你不希望模型学习顺序的情况下，并且神经网络使用该顺序来对样本进行分类。（例如，输入被排序从低到中到高）。改变数据是这个问题的一个很好的解决方案。

我只知道你可以知道模型是否以这种方式记住了火车组：训练精度非常高，可能是100％但是测试精度要低得多，而且这个没有阈值，这是经验性的，对于一个特定的问题，你甚至可以确定75％的准确率，但另一个甚至95％的低。