文本分类BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Posted 征途黯然.
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了文本分类BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding相关的知识,希望对你有一定的参考价值。
·阅读摘要:
Bert是继Transformer之后的又一杰出的模型。Bert是一种预训练语言模型,是在GPT、Elmo、Transformer的基础上提出的。基于Bert的多个NLP领域任务都取得了非常大的提升。
·参考文献:
[1] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
论文链接:https://arxiv.org/abs/1810.04805
[0] 阅读本论文最好了解前置知识:
Transformer ⭐Bert就是基于Transformer提出的
什么是预训练语言模型 ⭐Bert到底是怎么使用的
了解Transformer模型,可以参考我的另外一篇博客:【文本分类】Attention Is All You Need。
[1] 摘要
提出了Bert模型,它不同于Elmo模型和GPT模型,Bert是对左右文(上下文)的一种双向提取训练,而且是对大数据集进行无监督学习。Bert训练好之后,其他人只需要根据自己的特定数据集,再微调一下,就能得到自己模型特有的词向量表示,而且这样做通常效果比较好。
【注一】:Elmo模型和GPT模型一个采用了RNN,一个采用了单向顺序来训练。Bert是使用Transformer为基础,然后看到了一个句子的双向顺序来训练的。
【注二】:什么是微调 一般情况下,训练一个模型是从头开始训练,花费时间较长,bert微调就是在预训练模型bert的基础上只需更新后面几层的参数,这相对于从头开始训练可以节省大量时间,甚至可以提高性能,通常情况下在模型的训练过程中,我们也会更新bert的参数,这样模型的性能会更好。bert是在通用语料上训练的,在你的特定领域,这些通用语料训练出的模型无法充分抽取出token的内在含义,所以需要用你的领域语料微调一下。
[2] 介绍
预训练语言模型已被证明对提高NLP任务是有效的。
在下游任务中,使用预训练语言模型有两种方式,基于特征和基于微调。
作者认为标准语言模型是单向的,这限制了我们的模型训练。但是从两个方向结合上下文来表征句子是很重要的。
Bert做无监督训练的思想如下图:
核心点有3:
· mask LM,类似于Word2Vec的CBOW一样,但是CBOW是有窗口大小限制的,而mask LM是在整个句子的规模上随机mask一些词。
· 下一句预测,为了训练一个理解句子关系的模型,预训练了一个下一句预测的二元分类任务,这个任务可以从任何单语语料库中简单地归纳出来,预测输入BERT的两端文本是否为连续的文本。具体来说,在为每个训练前的例子选择句子 A 和 B 时,50% 的情况下 B 是真的在 A 后面的下一个句子,50% 的情况下是来自语料库的随机句子。
· 采用12个Transformer的Encoder块进行双向提取句子特征。
[3] 相关工作
· 无监督的基于特征的方法,以Elmo为代表。
· 无监督的基于微调的方法,以GPT为代表。
· 有些研究显示,在大型数据集上进行有监督的训练,之后迁移到语言推理和机器翻译任务上比较有效。CV领域也有类似研究。
【注三】:但是Bert是在大型数据集上进行无监督的训练,效果更好。
[4] Bert模型
Bert主要有两个步骤:预训练(pre-training) 和 微调(fine-tuning)。
【注四】:原理就是CV领域的预训练使用流程
· 预训练(pre-training):在一个大型数据集上进行无监督训练,预训练原理在“[2] 介绍”中已经阐述。
· 微调(fine-tuning):利用预训练的结果给下游任务的参数作初始化,然后在下游任务的数据集上,再进行一定的训练,即可。
Bert模型的输入格式:
如上图,每个词元的输入,都是有词的embedding、句子embedding、位置编码相加得到的。
以上是关于文本分类BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding的主要内容,如果未能解决你的问题,请参考以下文章
BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
paper 阅读 - BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding
paper 阅读 - BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding