TAMU发布《图神经网络可解释》综述论文，14页pdf阐述实例级与模型级解释

Posted 2021-04-26 专知

深度学习方法在许多人工智能任务中实现了不断提高的性能。深度模型的一个主要限制是它们不具有可解释性。这种限制可以通过开发事后技术来解释预测来规避，从而产生可解释的领域。近年来，深度模型在图像和文本上的可解释性研究取得了显著进展。在图数据领域，图神经网络(GNNs)及其可解释性正经历着快速的发展。然而，对GNN解释方法并没有统一的处理方法，也没有一个标准的评价基准和试验平台。在这个综述中，我们提供了一个统一的分类的视角，目前的GNN解释方法。我们对这一问题的统一和分类处理，阐明了现有方法的共性和差异，并为进一步的方法论发展奠定了基础。为了方便评估，我们为GNN的可解释性生成了一组基准图数据集。我们总结了当前的数据集和评价GNN可解释性的指标。总之，这项工作为GNN的解释提供了一个统一的方法处理和一个标准化的评价测试平台。

https://www.zhuanzhi.ai/paper/9a56925995fc3dfa1e88dbd945a2d358

引言

深度神经网络的发展彻底改变了机器学习和人工智能领域。深度神经网络在计算机视觉[1]、[2]、自然语言处理[3]、[4]、图数据分析[5]、[6]等领域取得了良好的研究成果。这些事实促使我们开发深度学习方法，用于在跨学科领域的实际应用，如金融、生物学和农业[7]、[8]、[9]。然而，由于大多数深度模型是在没有可解释性的情况下开发的，所以它们被视为黑盒。如果没有对预测背后的底层机制进行推理，深度模型就无法得到完全信任，这就阻止了它们在与公平性、隐私性和安全性有关的关键应用中使用。为了安全可靠地部署深度模型，有必要提供准确的预测和人类可理解的解释，特别是为跨学科领域的用户。这些事实要求发展解释技术来解释深度神经网络。

深度模型的解释技术通常研究深度模型预测背后的潜在关系机制。一些方法被提出来解释图像和文本数据的深度模型。这些方法可以提供与输入相关的解释，例如研究输入特征的重要分数，或对深度模型的一般行为有较高的理解。例如，通过研究梯度或权重[10]，[11]，[18]，我们可以分析输入特征和预测之间的灵敏度。现有的方法[12]，[13]，[19]映射隐藏特征图到输入空间和突出重要的输入特征。此外，通过遮挡不同的输入特征，我们可以观察和监测预测的变化，以识别重要的特征[14]，[15]。与此同时，一些[10]、[16]研究侧重于提供独立于输入的解释，例如研究能够最大化某类预测得分的输入模式。进一步探究隐藏神经元的含义，理解[17]、[22]的整个预测过程。近年来对[23]、[24]、[25]、[26]等方法进行了较为系统的评价和分类。然而，这些研究只关注图像和文本域的解释方法，忽略了深度图模型的可解释性。

近年来，图神经网络(Graph Neural network, GNN)越来越受欢迎，因为许多真实世界的数据都以图形的形式表示，如社交网络、化学分子和金融数据。其中，节点分类[27]、[28]、[29]、图分类[6]、[30]、链路预测[31]、[32]、[33]等与图相关的任务得到了广泛的研究。此外，许多高级的GNN操作被提出来提高性能，包括图卷积[5]，[34]，[35]，图注意力[36]，[37]，图池化[38]，[39]，[40]。然而，与图像和文本领域相比，图模型的可解释性研究较少，这是理解深度图神经网络的关键。近年来，人们提出了几种解释GNN预测的方法，如XGNN[41]、GNNExplainer [42]、PGExplainer[43]等。这些方法是从不同的角度发展起来的，提供了不同层次的解释。此外，它仍然缺乏标准的数据集和度量来评估解释结果。因此，需要对GNN解释技术的方法和评价进行系统的综述。

为此，本研究提供了对不同GNN解释技术的系统研究。我们的目的是提供对不同方法的直观理解和高层次的洞察，让研究者选择合适的探索方向。这项工作的贡献总结如下:

• 本综述提供了对深度图模型的现有解释技术的系统和全面的回顾。据我们所知，这是第一次也是唯一一次关于这一主题的综述工作。

  
  

• 我们对现有的GNN解释技术提出了一个新的分类方法。我们总结了每个类别的关键思想，并提供了深刻的分析。

  
  

• 我们详细介绍了每种GNN解释方法，包括其方法论、优缺点以及与其他方法的区别。

  
  

• 我们总结了常用的GNN解释任务的数据集和评估指标。我们讨论了它们的局限性，并推荐了几个令人信服的度量标准。

  
  

• 通过将句子转换为图表，我们从文本领域构建了三个人类可理解的数据集。这些数据集不久将向公众开放，并可直接用于GNN解释任务。

GNN解释性分类法

近年来，人们提出了几种解释深图模型预测的方法。这些方法关注于图模型的不同方面，并提供不同的视图来理解这些模型。他们通常会回答几个问题;其中一些是，哪个输入边更重要?哪个输入节点更重要?哪个节点特性更重要?什么样的图形模式将最大化某个类的预测?为了更好地理解这些方法，我们为GNN提供了不同解释技术的分类。我们分类法的结构如图1所示。根据提供的解释类型，不同的技术分为两大类:实例级方法和模型级方法。

首先，实例级方法为每个输入图提供依赖于输入的解释。给出一个输入图，这些方法通过识别用于预测的重要输入特征来解释深度模型。根据获得的重要度分数，我们将方法分为4个不同的分支:基于梯度/特征的方法[53]1，[50]，基于微扰的方法[42]，[53]0，[53]3，[52]，[53]，分解方法[53]2，[50]，[54]，[55]，以及代理方法[56]，[57]，[58]。具体来说，基于梯度/特征的方法使用梯度或特征值来表示不同输入特征的重要性。此外，基于扰动的方法监测预测的变化与不同的输入扰动，以研究输入的重要性得分。分解方法首先将预测得分(如预测概率)分解到最后一隐藏层的神经元中。然后逐层反向传播这些分数，直到输入空间，并使用这些分解后的分数作为重要分数。与此同时，对于给定的输入示例，基于代理的方法首先从给定示例的邻居中采样数据集。接下来，这些方法拟合一个简单的和可解释的模型，如决策树，以采样数据集。然后使用代理模型的解释来解释最初的预测。第二，模型级方法不考虑任何特定的输入实例来解释图神经网络。独立于输入的解释是高层次的，解释一般行为。与instance level方法相比，这个方向的研究仍然较少。现有的模型级方法只有基于图生成的XGNN[41]。它生成图形模式来最大化某个类的预测概率，并使用这些图形模式来解释该类。

总之，这两类方法从不同的角度解释了深度图模型。实例级方法提供了特定于示例的解释，而模型级方法提供了高层次的见解和对深度图模型如何工作的一般理解。要验证和信任深度图模型，需要人工监督检查解释。对于实例级方法，需要更多的人工监督，因为专家需要探索不同输入图的解释。对于模型级方法，由于解释是高层次的，因此涉及的人力监督较少。此外，实例级方法的解释基于真实的输入实例，因此它们很容易理解。然而，对模型级方法的解释可能不是人类能够理解的，因为获得的图形模式甚至可能不存在于现实世界中。总之，这两种方法可以结合起来更好地理解深度图模型，因此有必要对两者进行研究。

专知便捷查看

• 后台回复“EGNN” 可以获取《TAMU发布《图神经网络可解释》综述论文，14页pdf阐述实例级与模型级解释》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源