【NLP】BERT常见问题汇总

Posted 2023-03-10

参考技术A

bert结构大体上可分为 输入 、 N层transformer的encoder 和 输出 三部分组成。
输入 由 token embedding 、 segment embedding 和 position embedding 三部分相加组成；
N层transformer的encoder ，在bert_base中N=12，bert_large中N=24
输出 有 model.get_sequence_out() 和 model.get_pooling_out() 两种输出，其shape分别为[batch_size, seq_length, hidden_size]和[batch_size, hidden_size]。
model.get_sequence_out() 输出主要用于特征提取再处理的序列任务，而 model.get_pooling_out() 输出可直接接softmax进行分类（当然需要外加一层dense层将hidden_size转换为num_tag）。

bert适合于自然语言理解(Natural language Understanding, NLU)类任务，如文本分类、信息抽取等；
bert不适合于自然语言生成(Natural language Generation, NLG)类任务。

因为bert采用的是双向的语言模型，除了被mask的词语外，该词语前后的词语都可以看到。
而NLG任务的目标是在已知当前词与之前词语的情况下，预测出下一个词语，直至所有词语预测完成。