CVPR2021 | 视觉推理解释框架VRX：用结构化视觉概念作为解释网络推理逻辑的「语言」

Posted 2021-06-30 Charmve

大家好，我是Charmve。今天分享的一篇文章来自葛云皓，本文主要介绍了被 CVPR 2021 录用的文章《A Peek Into the Reasoning of Neural Networks: Interpreting with Structural Visual Concepts》。

本文提出了一个视觉推理解释框架 (VRX: Visual Reasoning eXplanation), 将人们容易理解的、high-level 的结构化的视觉概念作为「语言」，通过回答为什么是 A，为什么不是 B 解释神经网络的推理逻辑。VRX 还可以利用解释对网络进行诊断，进一步提升原网络的性能。

这项工作对神经网络推理逻辑的可解释性进行了探究：区分于大多数现有 xAI 方法通过可视化输入图像和输出结果之间的相关性对网络进行解释，该研究提出用结构化的视觉概念 (Structural Visual Concept) 对神经网络决策背后的推理逻辑和因果关系进行解释，通过解答网络决策中「为什么是 A？为什么不是 B？」 的问题，用人们更容易理解的 high-level 视觉概念和视觉概念之间的结构和空间关系解释神经网络的推理逻辑，并将其作为一种直接指导来提升被解释网络的性能。

• 论文地址：https://arxiv.org/pdf/2105.00290.pdf

• 项目主页：http://ilab.usc.edu/andy/vrx

• GitHub 地址：https://github.com