BERT 模型与中文文本分类实践

Posted 2021-10-13 AI算法攻城狮

一、简介

2018年10月11日，Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》，提出的 BERT 模型成功在11项 NLP 任务中取得 state of the art 的结果，赢得自然语言处理学界的一片赞誉之声，成为 NLP 发展史上的里程碑式的模型成就。BERT 的全称是 Bidirectional Encoder Representations from Transformer。

• Bidirectional：BERT 的模型结构和 ELMo 类似，均为双向的。

• Encoder：BERT 只是用到了 Transformer 的 Encoder 编码器部分。

• Representation：做词 / 句子的语义表征。

• Transformer：Transformer Encoder 是 BERT 模型的核心组成部分。

BERT 模型的目标是利用自监督学习方法在大规模无标注语料上进行预训练，从而捕捉文本中的丰富语义信息。在后续特定的 NLP 任务中，我们可以根据任务类型对 BERT 预训练模型参数进行微调，以取得更好的任务效果。BERT 论文链接：https://arxiv.org/abs/1810.04805 ，github 地址：https://github.com/google-research/bert

二、模型介绍

网络架构

BERT 的网络架构使用的是《Attention is all you need》 中提出的多层 Transformer Encoder 结构，其最大的特点是抛弃了传统的 RNN 和 CNN，通过 Attention 机制将任意