深度学习核心技术精讲100篇(八十一)-NLP预训练模型ERNIE实战应用案例
Posted 文宇肃然
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深度学习核心技术精讲100篇(八十一)-NLP预训练模型ERNIE实战应用案例相关的知识,希望对你有一定的参考价值。
前言
基于飞桨开源的持续学习的语义理解框架ERNIE 2.0,及基于此框架的ERNIE 2.0预训练模型,在共计16个中英文任务上超越了BERT和XLNet, 取得了SOTA效果。本文带你进一步深入了解ERNIE的技术细节。
一:ERNIE 简介
1.1 简介
Google 最近提出的 BERT 模型,通过随机屏蔽15%的字或者word,利用 Transformer 的多层 self-attention 双向建模能力,在各项nlp 下游任务中(如 sentence pair classification task, singe sentence classification task, question answering task) 都取得了很好的成绩。但是,BERT 模型主要是聚焦在针对字或者英文word粒度的完形填空学习上面,没有充分利用训练数据当中词法结构,语法结构,以及语义信息去学习建模。比如 “我要买苹果手机”,BERT 模型 将 “我”,“要”, “买”,“苹”, “果”,“手”, “机” 每个字都统一对待,随机mask,丢失了“苹果手机” 是一个很火的名词这一信息,这个是词法信息的缺失。同时 我 + 买 + 名词 是一个非常明显的购物意图的句式,BERT 没有对此类语法结构进行专门的建模,如果预训练的语料中只有“我要买苹果手机”,“我要买华为手机”,哪一天出现了一个新的手机牌子比如栗子手机,而这个手机牌子在预训练的语料当中并不存在,没有基于词法结构以及句法结构的建模,对于这种新出来的词是很难给出一个很好的向量表示的,而ERNIE 通过对训练数据中的词法结构,语法结构,语义信息
以上是关于深度学习核心技术精讲100篇(八十一)-NLP预训练模型ERNIE实战应用案例的主要内容,如果未能解决你的问题,请参考以下文章
深度学习核心技术精讲100篇(八十)-脏数据如何处理?置信学习解决方案
深度学习核心技术精讲100篇(八十)-脏数据如何处理?置信学习解决方案
深度学习核心技术精讲100篇(八十五)-Dask 分布高性能计算深入讲解
深度学习核心技术精讲100篇(八十二)-Statsmodels线性回归看特征间关系