最佳论文亚军花落天津大学：基于属性补全的异质图神经网络新架构

Posted 2021-10-22 人工智能博士

点上方人工智能算法与Python大数据获取更多干货

在右上方 ··· 设为星标 ★，第一时间获取资源

仅做学术分享，如有侵权，联系删除

转载于 ：机器之心

4  月 23 日，万维 网顶会 WWW-2021(T he Web Conference 2021: International World Wi d e Web Conference )  公 布了本届会议的 最佳论文奖冠亚 军（Winner 和 Ru nner-Up），来 自天 津 大学 金弟副 教授 团队的 论文《Heterogeneous Graph Neural Network via Attribute Completion》斩获 最佳 论文奖（Runner-Up） 。

WWW（现改名为 TheWebConf）会议是万维网领域的顶会，由图灵奖得主 Tim 创办，被中国计算机协会将其认证为 CCF-A 类会议，每年举办一次。本届 WWW 共计收到 1736 篇投稿，录用 357 篇论文，录用率为 20.6%，其中评出最佳论文奖冠亚军各一篇。

WWW2021 最佳论文奖（亚军）由来自天津大学的金弟副教授团队摘得。该研究原创性地提出了异构信息网络属性补全问题及其高效求解方案。该方案正交于已有异构图神经网络框架，并在多个真实世界的异质数据集上取得了优秀的结果。

• 论文链接：https://dl.acm.org/doi/10.1145/3442381.3449914

• 代码链接：https://github.com/jindi-tju/HGNN-AC

1. 内容简介

异质信息网络（HINs）也称为异质图，它是一种由多种类型的节点和边组成的复杂网络，包含了全面的信息和丰富的语义。图神经网络（GNNs）作为处理图结构数据的强大工具，在网络分析任务中表现出了卓越的性能。最近相继提出了许多基于图神经网络的异质图模型，并取得了巨大的成功。图神经网络旨在通过节点属性间的传播和聚合操作来完成图表示学习任务，因而完备的节点属性是算法运行的必要前提。然而，大多数真实世界的场景通常存在信息不完备的问题，表现在异质信息网络中即为：常存在某些类型节点的属性完全缺失的现象，比如在包含三种类型节点的引文网络 ACM 中，只有 paper 节点含有原始属性，author 和 subject 节点没有属性。不同于同构网络中某些结点的属性缺失或节点属性在某些维度上的缺失，异质网络中的属性缺失程度更大、更为复杂。

已有的一些异质网络表示学习方法主要针对模型的改进来提高算法性能，对于属性的缺失采用一些简单的手工插补方法（例如平均插补、one-hot 向量插补）进行补全。这些方法将属性补全与图表示学习过程分开，忽略了准确的属性对于下游任务的重要性，因此很难使用简单插补后的属性来保证模型的性能。实际上，准确的输入是任何模型实现性能提升的基础，在异质网络更为复杂的属性缺失情况下，准确的属性变得更为重要。因此，本文认为与设计新的模型相比，科学准确地补全缺失的属性应该成为异质网络分析任务的另一个重要研究方向，并且属性补全和模型设计可以相互增强。基于此，本文提出以可学习的方式来补全缺失的属性，并通过采用属性补全与图神经网络模型相互增强的模式来构建一个针对属性缺失异质网络的异质图神经网络通用框架（HGNN-AC）。

HGNN-AC 共包含四个关键设计：基于拓扑结构的先验知识预学习、基于注意力机制的属性补全、弱监督重构损失的设计和端到端模型的构建。本文在三个真实世界的异质网络上进行了大量的实验，结果表明所提出的框架优于最新的基准。

2. 方法

本文提出的框架主要由四部分组成（如下图所示）。首先，采用经典的异质网络表示学习方法，利用拓扑结构来获取节点的拓扑表示，以此捕获节点之间高阶的拓扑关系作为属性补全的先验知识。其次，基于节点的拓扑表示计算无属性节点与直接相连的已有属性节点之间的关系，通过对已有属性节点的属性进行加权聚合来为无属性节点进行属性补全。然后，通过随机删除部分已有属性节点的属性，并使用所提出的属性补全方法为这些节点重构属性以构建弱监督损失。最后，设计属性补全与基于图神经网络的异质模型相结合，使整个系统实现端到端，完成任务导向的属性补全。

1）节点拓扑表示的预学习

由于网络中拓扑结构和属性携带的语义信息往往具有很强的相似性，本文认为网络拓扑中的高阶异质关系有助于属性补全，因此本文采用经典的异质网络表示学习方法（例如 metapath2vec）利用拓扑结构捕获节点之间的关系来学习节点的表示 H，并将其作为指导属性补全的先验知识。

2）基于注意力机制的属性补全

为带有属性的节点集合，为属性缺失节点的集合。本文利用上述获得的先验知识 H，使用注意力机制计算缺失属性的目标节点的一阶邻居节点对其的重要性程度，并根据重要性系数来聚合已有属性的一阶邻居节点（中的结点）的属性，为目标节点（中的节点）进行属性补全。

具体来说，给定节点对（v,u）和其对应的节点表示h_v和h_u (其中节点 v 为没有属性的目标节点，节点 u 属于节点 v 的一阶邻居中带有属性的节点集合), 计算 u 节点对于 v 节点的重要性系数：

进行归一化：

根据归一化的系数聚合中的节点的原始属性为目标节点 v 进行属性补全：

为了稳定学习过程并减少高方差，本文最终采用多头注意力机制进行属性补全：

3）删除原始属性以构建弱监督损失

为了确保属性补全过程是可学习的，同时补全的属性是准确的，本文将带有原始属性的节点随机划分为和，将中节点的属性删除，并采用上一步中属性补全机制来重构删除的属性：

通过计算原始属性和重构属性之间的欧氏距离得到属性补全的弱监督损失：

4）与异质图神经网络模型结合构建端到端系统

通过提出的属性补全机制，本文对已有的属性和补全的属性进行组合，得到完整的属性矩阵：

将完整的属性矩阵连同拓扑结构一同输入图神经网络模型中，得到模型的标签预测损失：

为了实现任务导向的属性补全，本文将标签预测损失和属性补全损失组合，构建端到端的系统去联合优化二者：

3. 实验

本文在三个真实的异质网络数据集上进行了实验。数据集的统计信息如下：

1) 节点分类结果 - 将本文提出的框架与两个异质图神经网络的 SOTA 模型（MAGNN，GTN）相结合来对 HGNN-AC 框架进行评估：

2) 案例分析 - 采用不同的属性补全方式进行实验对比，ACM 数据集中 paper 节点有属性，author 和 subject 节点没有原始属性，下表中从左到右采用的属性补全方式依次为：paper 和 subject 节点的属性向量来源于与其直接相连的 paper 节点的属性向量的平均值；author 节点的属性向量为 one-hot 向量，subject 节点的属性向量为与其直接相连的 paper 节点的属性向量的平均值；author 和 subject 节点的属性均为 one-hot 向量；author 节点的属性通过本文提出的方法进行补全，subject 节点的属性为 one-hot 向量；author 和 subject 节点的属性均通过本文提出的方法进行补全。

4. 总结

本文发现，面对异质网络中复杂的属性缺失情况，与专注于设计新模型的传统研究方向相比，属性补全变得尤为重要，并且可以成为一个全新的、更有效的提升性能的方向。本文首次科学地对异质网络中的缺失属性进行了补全，并提出了通用的框架来解决异质图神经网络模型中面对的属性缺失问题。

具体地，在该框架中，首先基于面向元路径的高阶拓扑信息来挖掘节点间关系，并将其作为节点之间语义关系的先验知识。接着为节点属性的补全提供了一种具有先验信息指导的、有效的注意力机制，并通过随机删除属性来实现弱监督损失的定义，从而使属性补全成为在先验知识指导下合理的可学习过程。最终在同一图神经网络框架下定义了属性补全过程和目标任务，以构建任务导向的端到端框架，实现两者的相互增强。该框架可与多数异质图神经网络模型正交，为这些模型带来稳定的性能提升。本文也希望这种新观点能够为现有的基于图神经网络的异质网络研究提供一个新的、有效的方向。

---------♥---------

声明：本内容来源网络，版权属于原作者

图片来源网络，不代表本公众号立场。如有侵权，联系删除

AI博士私人微信，还有少量空位

如何画出漂亮的深度学习模型图？

如何画出漂亮的神经网络图？

一文读懂深度学习中的各种卷积

点个在看支持一下吧