神经网络中的遗忘,遗忘的作用
Posted ZhangJiQun&MXP
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了神经网络中的遗忘,遗忘的作用相关的知识,希望对你有一定的参考价值。
目录
遗忘是为了对抗过拟合
两种遗忘方式的对比
查找记忆的删除是一条一条的删,而网络记忆的删除是断开连接。
学习中的遗忘
学习的过程是寻找符合所有情况的规律的过程
在这个过程中,有时候我们的大脑会断开连接,有时候又会重塑连接
假设猜想:如果我们的大脑不会断开连接,那么我们便会,只知道解决学习时已见过的情况,而不会解决未见过的情况。这样的“学习”只能是记忆,记忆所有信息,却不能找到共同的规律。(网络的过拟合)
案例验证:比如现实生活中的雨人,他看完了一本书记住了里面的所有内容,但他日常生活能力低下,四岁才会走路,现在都还不会系扣子,智力测试也只有87分。
学习后的遗忘
为什么已经被记住的内容还是
以上是关于神经网络中的遗忘,遗忘的作用的主要内容,如果未能解决你的问题,请参考以下文章
弹性响应蒸馏 | 用弹性响应蒸馏克服增量目标检测中的灾难性遗忘