面向知识图谱的图嵌入学习进展

Posted 2021-12-14 人工智能博士

点上方人工智能算法与Python大数据获取更多干货

在右上方 ··· 设为星标 ★，第一时间获取资源

仅做学术分享，如有侵权，联系删除

转载于 ：专知

知识图谱是一种用网络结构存储知识的知识库，在知识图谱中，单条知识被表示成三元组的形式，即（头实体，关系，尾实体）.得力于知识图谱在各个领域的广泛应用，面向知识图谱的图嵌入学习也得到越来越多研究人员的关注.面向知识图谱的图嵌入学习任务旨在为图谱中的实体与关系学习低维且稠密的向量，通过图嵌入向量表达实体与关系的语义信息以及度量实体之间、关系之间、实体与关系之间的语义联系，已有许多研究证明图嵌入模型在下游任务中的有效性.近年来，越来越多研究人员开始关注知识图谱的图嵌入学习，并取得大量的研究成果，本文尝试将图嵌入算法分成了基于转移思想、基于张量分解、基于传统深度学习模型、基于图神经网络以及融入额外信息的图嵌入学习共五大类，梳理、介绍各类图嵌入算法的设计思路、算法特征以及优缺点，以帮助指导初步接触该领域的研究人员快速学习了解该研究领域的相关模型和算法.

http://jos.org.cn/jos/article/abstract/6426

近年来,随着互联网、物联网等技术的不断发展,以及其他研究领域的需求发展,各类应用应运而生,也相应 地产生了海量的数据资源.其中,图数据作为一种能够广泛建模诸多场景的数据类型,吸引了大量且深入的相关 研究,如社交网络、蛋白质网络、知识图谱等领域.其中,知识图谱作为一种异质图网络,将知识表示成三元组的形式(头实体,关系,尾实体),知识中的实体(即头实体与尾实体)表示成图的节点,知识中的关系表示成图的连边, 利用网络化结构更加直观地表征与存储知识. 面向知识图谱的学习任务主要包含知识图谱的构建与维护,以及基于知识图谱的下游任务,如基于知识图 谱的问答系统[1]、基于知识图谱的信息抽取[1]任务等.其中,无论是属于面向知识图谱的知识补全、实体对齐、 关系抽取任务还是其他基于知识图谱的下游任务,都能够基于知识图谱的图嵌入表示解决问题.因此,伴随着知 识图谱研究热度的上升,面向知识图谱的表示学习也得到越来越多的关注. 面向知识图谱的表示学习,又称为知识图谱的图嵌入学习,旨在将知识图谱的实体与关系映射到低维且稠 密的向量或矩阵,相比于 one-hot 向量,图嵌入对存储要求更低,且更加能够反映实体、关系的语义信息,以及实 体之间、关系之间、实体与关系之间的语义联系.除此以外,相较于传统的图学习算法,如基于规则学习的知识 推理算法[3][4]、基于本体推理的知识推理算法[5][6] ,图嵌入学习具有较低的计算复杂性,并且得利于并行运算能 力与框架的发展,图嵌入学习的计算效率得以不断提升.

相比于其他领域的图嵌入学习,例如面向无向图的图嵌入学习,面向社交网络、蛋白质结构等异质图的图 嵌入学习任务,知识图谱因为自身的数据特点使得在图嵌入学习方面与其它类型的异质图有所差异.首先,常见 的异质图包含的关系类别很少,如 DBLP 网络只包含论文-作者、论文-会议和论文-题目用词三种关系类 别,IMDB 网络只包含电影-演员、电影-导演两种关系,极少的关系类别使得这类异质图学习更长、更丰富的上 下文模式更加方便.基于元路径(meta-path)和元图(meta-graph)的图嵌入学习方法是两种异质图表示学习的常 见路线[7] ,元路径和元图可以视为需要专家人工制定的子图模式.而极少的关系类别也使得人工构建元路径和 元图在效率上成为可能,这也使得异质图基于元路径和元图的图嵌入学习方法能够得到有效发展.而知识图谱 往往具有很多关系类别,例如 FB15k-237 数据集[8]包含 237 种关系,想要人工设计元路径和元图模式则不可避免 地需要面临组合爆炸的问题;其次,对于常见的异质图,因为结构简单、实体类别较少,每个节点往往能够分配一 个特定的类别,这种节点类别信息在异质图的图嵌入学习过程中能够起到不可忽略的作用,例如 HAN 模型[9]在 聚合信息前会首先将邻居信息通过类别相关的线性变换映射到节点类别空间中.而知识图谱实体标签过于复 杂,没有显示为每个实体分配特定的类别,同时因为结构过于复杂,知识图谱的实体类别往往具有层次性,可能 实体与实体的类别本身都存在图谱内,所以想要现实表达实体的类别信息并不容易.所以,实体类别信息往往作 为一种隐式知识被利用在图嵌入学习任务中;除此以外,相比于常见的异质图,知识图谱的节点(即实体)往往具 有较为丰富的文本信息,如实体名称、实体描述,这些文本信息能够配合知识图谱本身的图结构信息一起更好 地学习实体的语义信息.综上所述,知识图谱虽然作为一种异质图,但因为自身的一系列特点,使得面向知识图 谱的图嵌入学习在学习思路、可利用的信息等方面与其它类型的异质图有较大差异,丰富的文本信息和复杂多 变的网络结构使得面向知识图谱的图嵌入学习增加了更多的挑战和研究空间. 为此,本文梳理了面向知识图谱的图嵌入学习算法的不同设计思想,并对相应方法进行了总结.具体来说, 本文首先给出图嵌入学习的任务描述以及相关符号定义,然后按照设计思路、信息利用程度的不同将图嵌入学 习方法分成如下五种类别:基于转移思想的图嵌入算法、基于矩阵/张量分解的图嵌入算法、基于传统深度学 习的图嵌入算法、基于图神经网络的图嵌入算法以及融入额外信息的图嵌入算法;最后,本文总结了以上不同 类别图嵌入的特征与优缺点,以及部分有待深入研究的问题.

相较于现有的研究进展报告[10][11] ,本文主要通过分析之前模型的不足来梳理和介绍当前的研究进展,这样 有利于从问题出发有的放矢地介绍不同领域方法的发展脉络和不同研究成果的出发点和优缺点,方便读者的 理解;而且相较于[10][11]的工作,本文将基于 GNN 的图嵌入模型从基于深度学习模型的图嵌入算法中抽取出 来单独列为一类,一方面是为了结合了近阶段图神经网络模型的快速发展趋势,另一方面是考虑到基于 GNN 的 图嵌入模型从编码思想上与其他几类方法有较大的差异,其主要利用 GNN 模型较为强大的图结构编码能力, 因此有必要单独列为一类,所以本文在基于 GNN 模型的图嵌入方法上介绍也会较多;除此以外,本文还额外介 绍了使用额外信息的一系列图嵌入算法,如基于文本信息、路径信息等,为面向知识图谱的图嵌入算法的后续 研究介绍更多可思考和研究的方向;最后,本文列举了面向知识图谱的图嵌入学习的部分难点和有待解决的问题。

---------♥---------

声明：本内容来源网络，版权属于原作者

图片来源网络，不代表本公众号立场。如有侵权，联系删除

AI博士私人微信，还有少量空位

如何画出漂亮的深度学习模型图？

如何画出漂亮的神经网络图？

一文读懂深度学习中的各种卷积

点个在看支持一下吧