论文泛读96异构图神经网络的跨语言文本分类

Posted 2021-06-06 及时行樂_

贴一下汇总贴：论文阅读记录

论文链接：《Cross-lingual Text Classification with Heterogeneous Graph Neural Network》

一、摘要

跨语言文本分类旨在针对源语言训练分类器，并将知识转移到目标语言，这对于资源匮乏的语言非常有用。最近的多语言预训练语言模型（mPLM）在跨语言分类任务中取得了令人印象深刻的结果，但很少考虑超出语义相似性的因素，从而导致某些语言对之间的性能下降。在本文中，我们提出了一种简单而有效的方法，即使用图卷积网络（GCN）将异构信息纳入语言内部和语言之间，以进行跨语言文本分类。特别是，我们通过将文档和单词视为节点，并链接具有不同关系的节点来构建异构图，这些关系包括词性角色，语义相似性和文档翻译。

二、结论

在这项研究中，我们提出了一种新的基于图的方法，称为CLHG，以捕捉各种信息的内部和跨语言的跨语言文本分类。大量实验表明，我们的框架有效地提取和集成了多语言语料库中的异构信息，这些异构关系可以增强现有模型，有助于跨语言任务。可能存在一些更好的语义或句法特征以及特征的组合，这有待于我们将来的工作去探索。我们还希望将基于GNN的框架扩展到未来需要知识转移和适应的不同自然语言处理任务。

三、Model

CLHG：首先基于语料库和所选特征构建跨语言异构图，然后用多语言预训练语言模型对所有文本进行编码，然后将编码后的节点传递给异构GCN，每一层对由不同边缘类型分隔的不同子图进行图卷积，并将信息聚合在一起。最后，图形神经网络输出doc节点的预测，这些预测将在训练期间与基本事实标签进行比较。

论文代码：github_link

在三个不同的分类任务上评估了框架，对于所有的任务，只使用英语样本进行培训，并对其他6种语言进行评估。