自然语言处理预训练模型的研究综述

Posted 专知

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了自然语言处理预训练模型的研究综述相关的知识,希望对你有一定的参考价值。

http://cea.ceaj.org/CN/abstract/abstract39198.shtml


近年来,深度学习技术被广泛应用于各个领域,基于深度学习的预处理模型将自然语言处理带入一个新时代。预训练模型的目标是如何使预训练好的模型处于良好的初始状态,在下游任务中达到更好的性能表现。对预训练技术及其发展历史进行介绍,并按照模型特点划分为基于概率统计的传统模型和基于深度学习的新式模型进行综述;简要分析传统预训练模型的特点及局限性,重点介绍基于深度学习的预训练模型,并针对它们在下游任务的表现进行对比评估;梳理出具有启发意义的新式预训练模型,简述这些模型的改进机制以及在下游任务中取得的性能提升;总结目前预训练的模型所面临的问题,并对后续发展趋势进行展望。


自然语言处理预训练模型的研究综述

专知便捷查看

  • 后台回复“自然语言预处理” 就可以获取自然语言处理预训练模型的研究综述》专知下载链接

自然语言处理预训练模型的研究综述

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询!
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源

以上是关于自然语言处理预训练模型的研究综述的主要内容,如果未能解决你的问题,请参考以下文章

综述 | 基于大预训练语言模型的自然语言处理

自然语言预训练模型知识增强方法综述

最新《知识增强预训练语言模型》

最新《知识增强预训练语言模型》

西电综述《知识增强预训练模型》

西电综述《知识增强预训练模型》