北航面向自然语言处理的预训练技术研究综述

Posted 专知

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了北航面向自然语言处理的预训练技术研究综述相关的知识,希望对你有一定的参考价值。


摘要: 近年来,随着深度学习的快速发展,面向自然语言处理领域的预训练技术获得了长足的进步。早期的自然语言处理领域长期使用Word2Vec等词向量方法对文本进行编码,这些词向量方法也可看作静态的预训练技术。然而,这种上下文无关的文本表示给其后的自然语言处理任务带来的提升非常有限,并且无法解决一词多义问题。ELMo提出了一种上下文相关的文本表示方法,可有效处理多义词问题。其后,GPT和BERT等预训练语言模型相继被提出,其中BERT模型在多个典型下游任务上有了显著的效果提升,极大地推动了自然语言处理领域的技术发展,自此便进入了动态预训练技术的时代。此后,基于BERT的改进模型、XLNet等大量预训练语言模型不断涌现,预训练技术已成为自然语言处理领域不可或缺的主流技术。文中首先概述预训练技术及其发展历史,并详细介绍自然语言处理领域的经典预训练技术,包括早期的静态预训练技术和经典的动态预训练技术;然后简要梳理一系列新式的有启发意义的预训练技术,包括基于BERT的改进模型和XLNet;在此基础上,分析目前预训练技术研究所面临的问题;最后对预训练技术的未来发展趋势进行展望。

http://www.jsjkx.com/CN/abstract/abstract18933.shtml


【北航】面向自然语言处理的预训练技术研究综述


专知便捷查看

  • 后台回复“PNLP” 就可以获取面向自然语言处理的预训练技术研究综述》专知下载链接

【北航】面向自然语言处理的预训练技术研究综述

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询!
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源

以上是关于北航面向自然语言处理的预训练技术研究综述的主要内容,如果未能解决你的问题,请参考以下文章

面向自然语言处理的深度学习对抗样本综述

最新《低资源自然语言处理》综述论文,21页pdf

联邦学习自然语言处理综述论文

自然语言预训练模型知识增强方法综述

邱锡鹏老师SMP2020教程自然语言处理中的预训练模型,90页ppt

赠书如何掌握好自然语言处理中的预训练语言模型?你需要读这本书