深度学习核心技术精讲100篇(八十一)-NLP预训练模型ERNIE实战应用案例

Posted 文宇肃然

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深度学习核心技术精讲100篇(八十一)-NLP预训练模型ERNIE实战应用案例相关的知识,希望对你有一定的参考价值。

前言

基于飞桨开源的持续学习的语义理解框架ERNIE 2.0,及基于此框架的ERNIE 2.0预训练模型,在共计16个中英文任务上超越了BERT和XLNet, 取得了SOTA效果。本文带你进一步深入了解ERNIE的技术细节。

一:ERNIE 简介

1.1 简介

Google 最近提出的 BERT 模型,通过随机屏蔽15%的字或者word,利用 Transformer 的多层 self-attention 双向建模能力,在各项nlp 下游任务中(如 sentence pair classification task, singe sentence classification task, question answering task) 都取得了很好的成绩。但是,BERT 模型主要是聚焦在针对字或者英文word粒度的完形填空学习上面,没有充分利用训练数据当中词法结构,语法结构,以及语义信息去学习建模。比如 “我要买苹果手机”,BERT 模型 将 “我”,“要”, “买”,“苹”, “果”,“手”, “机” 每个字都统一对待,随机mask,丢失了“苹果手机” 是一个很火的名词这一信息,这个是词法信息的缺失。同时 我 + 买 + 名词 是一个非常明显的购物意图的句式,BERT 没有对此类语法结构进行专门的建模,如果预训练的语料中只有“我要买苹果手机”,“我要买华为手机”,哪一天出现了一个新的手机牌子比如栗子手机,而这个手机牌子在预训练的语料当中并不存在,没有基于词法结构以及句法结构的建模,对于这种新出来的词是很难给出一个很好的向量表示的,而ERNIE 通过对训练数据中的词法结构,语法结构,语义信息

以上是关于深度学习核心技术精讲100篇(八十一)-NLP预训练模型ERNIE实战应用案例的主要内容,如果未能解决你的问题,请参考以下文章

深度学习核心技术精讲100篇(八十)-脏数据如何处理?置信学习解决方案

深度学习核心技术精讲100篇(八十)-脏数据如何处理?置信学习解决方案

深度学习核心技术精讲100篇(八十五)-Dask 分布高性能计算深入讲解

深度学习核心技术精讲100篇(八十二)-Statsmodels线性回归看特征间关系

数学建模深度学习核心技术精讲100篇(八十三)-时间序列分解和预测

深度学习核心技术精讲100篇(四十一)-阿里飞猪个性化推荐:召回篇