论文泛读90结合GCN和变压器进行中文语法错误检测

Posted 2021-06-06 及时行樂_

贴一下汇总贴：论文阅读记录

论文链接：《Combining GCN and Transformer for Chinese Grammatical Error Detection》

一、摘要

本文在NLPTEA-2020任务：中文语法错误诊断（CGED）中介绍了我们的系统。CGED旨在诊断四种类型的语法错误，即遗漏单词（M），冗余单词（R），不良单词选择（S）和无序单词（W）。CGED自动系统包括错误检测和错误校正两部分，我们的系统旨在解决错误检测问题。我们的系统基于三种模型：1）利用语法信息的基于BERT的模型；2）利用上下文嵌入的基于BERT的模型；3）基于词典的图神经网络。我们还设计了集成机制来提高单个模型的性能。最后，我们的系统在参加CGED 2020任务的所有团队中在检测水平和识别水平上获得最高的F1分数。

二、结论

本文描述了我们的基于自然语言处理协会-2020 CGED任务的系统，该系统结合了GCN和BERT用于汉语语法错误诊断。我们还设计了一个集成机制来最大化模型的能力。在所有参与CGED 2020任务的队伍中，我们在检测级别和识别级别上的F1成绩最高。

三、模型

使用三种类型的模型。

• 第一种是BERT-GCN-LSTM-CRF，它建立在多层双向变压器编码器的模型上，为了提高性能，在编码器中集成了GCN。
  

• 第二种是具有BERT带有context-LSTM-CRF，它利用了语境化的词汇表征，因为它们可以有效地捕捉语言中的成分信息。
  

• 第三个是LGN，它将词汇知识整合到中文NER任务中。