神经网络中的遗忘,遗忘的作用

Posted ZhangJiQun&MXP

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了神经网络中的遗忘,遗忘的作用相关的知识,希望对你有一定的参考价值。

目录

遗忘是为了对抗过拟合


遗忘是为了对抗过拟合

两种遗忘方式的对比

    查找记忆的删除是一条一条的删,而网络记忆的删除是断开连接。

学习中的遗忘

      学习的过程是寻找符合所有情况的规律的过程

      在这个过程中,有时候我们的大脑会断开连接,有时候又会重塑连接

假设猜想:如果我们的大脑不会断开连接,那么我们便会,只知道解决学习时已见过的情况,而不会解决未见过的情况。这样的“学习”只能是记忆,记忆所有信息,却不能找到共同的规律。(网络的过拟合)

案例验证:比如现实生活中的雨人,他看完了一本书记住了里面的所有内容,但他日常生活能力低下,四岁才会走路,现在都还不会系扣子,智力测试也只有87分。

学习后的遗忘

      为什么已经被记住的内容还是

以上是关于神经网络中的遗忘,遗忘的作用的主要内容,如果未能解决你的问题,请参考以下文章

韩纪东,李玉鑑:神经网络模型中灾难性遗忘研究的综述

计算机网络 容易遗忘,特此撰写

LSTM原理——输入门遗忘门输出门

弹性响应蒸馏 | 用弹性响应蒸馏克服增量目标检测中的灾难性遗忘

基础很好?总结了43个工作中容易遗忘的 Linux 操作,倒要看看你能拿几分?

学习记忆循环神经网络心得