图神经网络基本理论研究及应用

Posted 2021-04-26 数字孪生与人工智能

如果把深度学习看作一部要素过多的大片，那么，它有两条主线，跟着这两条主线走就不会跑偏。一条主线叫卷积神经网络，简称CNN，主要用于图像类数据的处理。另一条主线叫循环神经网络，简称RNN，主要用于时序类数据的处理。“时序类数据”这种叫法大家也许很陌生，不过肯定都见过，主要就是指文本类数据和音频类数据。CNN和RNN共同搭建起深度学习的稳固框架。

毕竟机器学习的神经网络算法正是深度学习发家的根本，和CNN、RNN一样，GNN全名图神经网络（Graph Nerual Network），GNN关键在于打首的G，GNN之所以重要，是因为图很重要。

图是计算机科学里的一种非常重要的数据结构。GNN里的“图”，正是指图论的“图”。图神经网络并不是图与机器学习的第一次结合，机器学习在此之前已经大量使用了这个重要的数据结构。机器学习众多的模型中，有一个重要的大类，叫概率图模型（PGM），名字叫得很形象，这类模型就是用图来表示变量与变量之间转移的概率关系。

不过，虽然名字都有“图”字，但概率图模型和这里要介绍的图神经网络，有着本质的不同。深度学习的每一款经典模型，背后都有一篇经典的论文，GNN的那篇经典论文可以参阅《Semi-SupervisedClassification with Graph Convolutional Networks》。

什么是图呢？一种集合论的定义方法G=（V, E）表达的意思就是：图是顶点和边的集合，就是GNN的G，意思是Graph（图），V就是前面的Vertex（顶点），E就是前面的Edge（边）。图的应用非常广，网络拓扑图就是一种非常典型的图结构。星形、环形、总线形，无论哪种，所谓的顶点，就是网络拓扑图里面的节点，譬如网络拓扑图里的PC机、服务器和路由器等等，而所谓的边，就是连接这些网络节点的线。

图神经网络

为什么要有图神经网络？答案在于：数据结构。

现有的深度学习模型，无论是CNN，还是RNN，或者叫其他什么的，都对数据的数据结构有一个要求，必须都是欧几里得结构（Euclidean Structure）。

典型的欧几里得结构如上图左边所示，非欧几里得结构，总得来说有两大类，一类就是图，另一类叫流型。这样的非欧几里得结构，是没有办法用传统的深度模型处理的。因此，研究人员开发了图神经网络。

图神经网络是一个大类，具体当然又包括有很多模型，研究图神经网络，一般都会选择从GCN（Graph Convolutional Network）开始，而这个GCN和CNN还有很深的渊源。GCN（全称Graph Convolutional Network，图卷积网络）怎样用卷积处理非欧几里得结构的数据呢？图神经网络需要用到一些新的概念，比如拉普拉斯矩阵和图傅里叶变换等等。涉及新技术新知识点比较多，这里不再累述。

图神经网络研究

在图神经网络是用于图结构数据的深度学习架构，将端到端学习与归纳推理相结合，业界普遍认为其有望解决深度学习无法处理的因果推理、可解释性等一系列瓶颈问题，是未来 3 图神经网络是用于图结构数据的深度学习架构，将端到端学习与归纳推理相结合，业界普遍认为其有望解决深度学习无法处理的因果推理、可解释性等一系列瓶颈问题，是未来 3 到 5 年的重点方向。

在深度神经网络技术兴起的前几年，图像、语音、文本等形式的数据都能够得到很好的“深度学习”，并获得了十分优秀的效果。这促使一大类产业界的相关应用进入了实用阶段，如人脸识别、语音助手、机器翻译等。尽管如此，深度学习一直缺乏对另一类形式的数据—图数据（或称网络数据）进行有效地适配。

作为一类主要描述关系的通用数据表示方法，图数据在产业界有着更加广阔的应用场景，在诸于社交网络、电子购物、物联网、生物制药等场景中，都可以找到图数据的影子。将深度学习技术的成功经验迁移到图数据的学习中来，是一种十分自然且必要的需求。在这样的背景下，图神经网络的出现，很好地填补了上述技术空白，实现了图数据与深度学习技术的有效结合，使得深度学习能够在图数据的相关应用场景中继续攻城略地。事实上，纵观这三年，图神经网络技术的相关应用研究已经拓展到了极其宽广的局面，从视觉推理到开放性地阅读理解问题，从药物分子的研发到5G芯片的设计，从交通流量预测到3D点云数据的学习，该项技术展示出了及其重要且极具渗透性的应用能力。

GNN原理 及各类变体

当前 GNN 研究的第一个热点在于其相关能力的理论化研究。GNN模型的相关变体研究是领域内的另一个热点，这些变体在一些方面提升了 GNN 的能力表现。GCN 模型来源于图信号上的傅里叶变换，“Graph Wavelet Neural Network” 引入了图信号上的小波变换来改造 GCN 模型，将卷积计算变换到空域局部邻域内。将数据表征从欧式空间转化到双曲空间，不仅能获得更好地层次化表示，同时能大大节约空间维度，“Hyperbolic Graph Convolutional Neural Networks”和 “Hyperbolic Attention Networks” 同时将 GNN 拓展到了双曲空间上去。

GNN在各类图数据及任务上的拓展

图数据是一个种类繁多的数据家族，模型对这些不同类型的数据如何适配，是 GNN 发展的另一重要方向。

在图数据相关的任务上，图的分类是一个重要而又未完全解决好的问题，其难处在于如何在图数据上实现层次化的池化操作从而获得图的全局表示。

GNN相关应用简述

以深度学习为代表的人工智能技术给产业界带来了新的变革。该技术在视觉、语音、文本三大领域取得了极大的应用成果，这种成功，离不开深度学习技术对这三类数据定制化的模型设计工作。脱离于这三类数据之外，图数据是一种更加广泛的数据表示方式，夸张地说，没有任何一个场景中的数据彼此之间是孤立存在的，这些数据之间的关系都可以以图的形式进行表达。

GNN的适用范围非常广泛，既可以处理具有显式关联结构的数据如药物分子、电路网络等，也可以处理具有隐式关联结构的数据如图像、文本等。

GNN已经被用来解决各行各业的问题，例如生物化学领域中的分子指纹识别、药物分子设计、疾病分类等，在交通领域对交通需求预测、道路速度预测，在计算机图像处理领域的目标检测、视觉推理等，在自然语言处理领域的实体关系抽取、关系推理等。在细分领域分成六个方向：自然语言处理、计算机视觉、自然科学研究、知识图谱、组合优化、图生成。

纵观 GNN 的各类应用， GNN 表现出了如下三点优势 ：

• GNN具有强大的图数据拟合能力。作为一种建立在图上的端对端学习框架，GNN展示出了强大的图数据拟合能力。图数据是科学与工程学领域中一种十分常见的数据研究对象，因此，GNN也被应用到了很多相关场景下，并且都取得了不错的效果。通常这些应用均会利用GNN去拟合研究对象的一些理化性质，从而指导或加速相应的科研与开发工作。比如GNN去拟合两图中节点对的组合性质，从而提升蛋白质相互作用点预测的精度。

• GNN 具有强大的推理能力。计算机要完成推理任务、离不开对语义实体的识别以及实体之间关系的抽取，很自然地，GNN被应用到了很多推理任务的场景中去。相较于之前大多基于关系三元组的建模方式，GNN能够对表征语义关系的网络进行整体性地建模，习得更加复杂与丰富的语义信息，这对提升推理任务的效果大有裨益。

  深度学习经过近几年的长足发展，在许多识别相关的任务上都取得了前所未有的成果，基于此，需要更深程度理解数据的推理任务被提出来，比如计算机视觉中的视觉问答（Visual QuestionAnswering）、视觉推理（Visual Reasoning），自然语言处理中的多跳推理（Multi-hop Reasoning）等。

• GNN与知识图谱结合，可以将先验知识以端对端的形式高效地嵌入到学习系统中去。人类在学习后习得的知识，会被大脑神经系统进行系统地加工并存储起来，作为之后相关活动发生时的一种先验知识高效提升人类的应对表现，并且往往知识之间会产生各种关联，形成“知识地图”。这种机制对应着数据科学领域中一些技术如知识图谱的广泛应用。

  从数据建模的层面说，这些知识（或者规则、经验、常识、事实等）为模型提供了额外的相关信息，可以有效提升学习系统的效果。作为一种端对端的图数据学习模型，GNN结合知识图谱，可以将先验知识高效地嵌入到任意一种学习系统中去，提升任务效果。

  在零样本学习任务中利用GCN对词汇网络（WordNet）进行建模，实现了类别之间的语义关系到其视觉表示上的迁移，从而大大提升视觉模型在一些完全不提供训练样本的类别上的分类准确率。

  通过补充额外的知识图谱信息，将知识图谱与用户-商品二部图构成一种合成的图结构，然后利用GNN进行推荐任务建模，同时增强了推荐系统的准确率、多样性与可解释性。

        总的来说，正是由于GNN强大而灵活的特性，使得其不管在图数据本身的学习任务上，还是在被以端对端的形式融合到其他的学习任务中，都能表现出自己的独特优势。当然，上面一以概之的优势需要与实际场景进行深度耦合，在具体地应用中寻找精确的定位，只有这样，才能在相关场景中获得优秀的效果。

GNN的未来展望

作为一种新兴的神经网络技术，GNN的快速发展离不开近些年深度学习在各方面的重要积淀。而与GNN的结合，可以助力深度学习系统拓展其在更广领域、更多层面的场景任务中获得成功。我们非常确信在未来几年，GNN会在越来越多的场景下得到应用。接下来，我们从三个方面总结对GNN未来研究的展望。当然下述观点仅供参考，读者朋友也应有自己的思考：

        充分适应复杂多变的图数据 。一方面，图数据的类型及其繁杂，如关系经常发生变化的动态图、一条边连接两个以上节点的超图，这些图数据的结构更加复杂，需要GNN进行针对性地设计。二方面，GNN针对异构图与属性图还需要更充分地研究与设计，以学习其中丰富多样的语义信息。

       在更多推理任务上的应用与学习机制的研究改进 。推理任务已经成为当下深度学习系统面临的核心任务之一，虽然GNN已经展现出了在相关任务上的独特优势，但是内在的作用机理还需要充分研究。通过对其学习机制不断完善与发展，来促使GNN在更多、更复杂的推理任务中获得更好的表现。

       对超大规模图建模的支持 。现有大多数图神经网络都无法扩展到规模巨大的图数据中去。GNN的训练是一种协同的学习方式，在一次迭代中，节点固有的上下文会导致其状态的更新需要涉及到大量邻居节点的隐藏状态，复杂度极高，难以应用小批量训练方式提升计算效率。尽管已有研究提出基于抽样与分区的手段来解决这类问题，但这些手段仍不足以扩展到工业级超大规模属性图的学习中去。