韩纪东,李玉鑑：神经网络模型中灾难性遗忘研究的综述

Posted 2021-05-25 北京工业大学学报

摘要

近年来,神经网络模型在图像分割、目标识别、自然语言处理等诸多领域都取得了巨大的成功. 但是,神经网络模型仍有很多关键性的问题尚未得到解决,其中就包括灾难性遗忘问题. 人类在学习新知识后不会对旧知识发生灾难性遗忘,神经网络模型则与之相反. 神经网络模型在适应新任务之后,几乎完全忘记之前学习过的任务.为了解决这一问题,很多相应的减缓神经网络模型灾难性遗忘的方法被提出. 对这些方法进行了归纳总结,以促进对该问题的进一步研究. 主要贡献包括3个方面:对现有的减缓神经网络模型灾难性遗忘的方法进行了详细的介绍,并将不同方法分为4类,即基于样本的方法、基于模型参数的方法、基于知识蒸馏的方法和其他方法. 介绍了不同的评估方案,以评估不同方法对减缓神经网络模型灾难性遗忘的效果. 对神经网络模型中的灾难性遗忘问题进行了开放性的讨论,并给出了一些研究建议.
关键词: 神经网络模型; 灾难性遗忘; 样例; 模型参数; 知识蒸馏; 增量学习

文献来源

韩纪东,李玉鑑.神经网络模型中灾难性遗忘研究的综述.[J]北京工业大学学报,2021,47(5):551-564