图神经网络在自然语言处理中的应用(中文版）,23页pdf

Posted 2021-04-23 专知

近几年,神经网络因其强大的表征能力逐渐取代传统的机器学习成为自然语言处理任务的基本模型。然而经典的神经网络模型只能处理欧氏空间中的数据,自然语言处理领域中,篇章结构,句法甚至句子本身都以图数据的形式存在。因此,图神经网络引起学界广泛关注,并在自然语言处理的多个领域成功应用。该文对图神经网络在自然语言处理领域中的应用进行了系统性的综述, 首先介绍了图神经网络的核心思想并梳理了三种经典方法: 图循环网络,图卷积网络和图注意力网络;然后在具体任务中,详细描述了如何根据任务特性构建合适的图结构以及如何合理运用图结构表示模型。该文认为,相比专注于探索图神经网络的不同结构,探索如何以图的方式建模不同任务中的关键信息,是图神经网络未来工作中更具普遍性和学术价值的一个研究方向。

http://jcip.cipsc.org.cn/CN/abstract/abstract3096.shtml

自然语言处理中存在很多图结构。如图 1 所 示,从句法结构、语义关系图、篇章关系结构,到实体和共指结构、关系结构和知识图谱,都是一般的图结 构。一个句子内部的字、词相邻关系也构成图结构。形式上,图由节点和边组成。本文以三类图结构为 例,观察自然语言处理任务中相关的节点和边,以便 更具体地了解这些任务所对应的图。

第一类图结构是基于句子的语言结构。已有研 究表明,对关系提取、机器翻译和其他自然语言处理 任务,句法[1]、语义[2]和篇章结构信息[3]非常有用。因此,一种在句子上定义图结构的方法是把每个词 当作节点,并把句法依存关系、语义角色和篇章关系 等节点之间的链接当作边。我们可以在相邻单词之 间添加多种类型的边,从而形成一种具有统一节点 类型但具有不同边类型的图。

第二类图结构是基于文档中的实体和共指关系 连接构建的,如图 1(a)所示。对于机器阅读的任 务,有研究表明,为了正确地回答问题,对参考文档 中不同的句子进行推理可能是有必要的[4]。一种为 这种推理构建图结构的方法是把文档中提及的实体 作为节点,并把实体之间的共指链接作为边。另外, 除了文本文档中的实体,知识图谱中的实体也可以 使用图神经网络进行编码,如图1(b)所示。 

第三类图结构可以是结构预测任务中的图结构 本身。具体来说,如图1(c)所示,多个基准结构化 预测模型给出的候选图结构可以使用图神经网络表 示来进行重排序。这样的候选图结构可以由一个基 线系统的k 个最优的输出结构组成。当将这些结 构整合在一起形成一个图时,可以提取其中有用的 特征,以便从中进一步预测出正确的输出[5]。

近年来,图神经网络已被广泛运用到自然语言 处理的大多数任务当中。有一系列的工作利用图神 经网络对上述几类任务中的图结构进行编码,从而 更充分地得到相关表示,能有效地解决相关问题。本综述系统性地汇报相关工作,首先介绍图神经网 络的基本概念,然后根据不同任务,分别介绍图网络 在自然语言处理中的应用。与已有的图神经网络综 述[6-7]相比,本文针对自然语言处理进行详细阐述。

专知便捷查看

• 后台回复“GNLP” 就可以获取《图神经网络在自然语言处理中的应用(中文版）,23页pdf》专知下载链接

以上是关于图神经网络在自然语言处理中的应用(中文版）,23页pdf的主要内容，如果未能解决你的问题，请参考以下文章

图深度学习如何用于自然语言处理？SIGIR2021这份230页ppt教程带你全面了解DL4NLP

图，图谱，图信号处理，图机器学习新书，170页pdf阐述从图分析到图神经网络应用

图神经网络的应用

首篇NLP图神经网络综述：127页

最新《鲁棒图神经网络》概述，23页pdf

重磅图神经网络新书《图表示学习》，140页pdf，William L. Hamilton-McGill University