GNN在几何深度学习有何进展？

Posted 2022-01-04 人工智能博士

点上方人工智能算法与Python大数据获取更多干货

在右上方 ··· 设为星标 ★，第一时间获取资源

仅做学术分享，如有侵权，联系删除

转载于 ：专知

几何深度学习是当下的研究热点。关于GNN类有何进展？最近斯坦福CS224W课程上，来自DeepMind大牛Petar Veličković进行了关于几何深度学习报告，讲述几何深度学习下GNN的相关特性，值得学习!

几何深度学习的目标是在Erlangen项目的精神下将几何统一引入深度学习。它提供了一个共同的数学框架来研究最成功的神经网络架构，如CNNs、RNNs、GNNs和transformer，并提供了一个建设性的过程来将先前的知识融入到神经网络中，并以一种原理性的方式构建未来的架构。

Klein 的爱尔兰根纲领将几何学定义为研究在某类变换下保持不变的性质。我们通过保持面积、距离、角度、平行结构不变的刚性变换（建模为等距群）定义 2 维欧氏几何。仿射变换将保持平行结构，但并不能保证距离或面积不变。射影变换的不变性最弱，只保持交点和交比不变，对应于以上三种变换中最大的群。因此，Klein 认为射影几何是最为通用的。

图注：现代的深度学习——有各种各样的架构，但是缺乏统一的原理。

图注：几何深度学习的“ 5G”图景：网格，群（具有全局对称性的均匀空间），图（以及作为特定情况的集合）和流形，其中几何先验通过全局等距不变性（可以使用测地线表示） 和局部规范对称性显现。

报告目录内容：

1 高维空间学习难度 Learning in high dimensions is hard

2 对称，群组和不变性，Symmetries, Groups and Invariances

3 几何深度学习蓝图 The Blueprint of Geometric Deep Learning

4 及和深度学习5G。The “5G” of Geometric Deep Learning

5 图神经网络的几何深度视角 Geometric DL Perspective on Graph Neural Networks

6 排列等变换是GNN Permutation equivariant NNs are GNNs

7 The Fourier connection: CNNs and Spectral GNNs

8 The Group connection: Spherical CNNs

9 Geometric Graphs, Geodesics and Gauges

A Further resources

Petar Veličković

Petar Veličković现为 DeepMind Staff科学家。他于 2019 年从剑桥大学获得计算机科学博士学位，导师为 Pietro Liò。他的研究方向包括：设计在复杂结构数据上运行的神经网络架构（如图网络），及其在算法推理和计算生物学方面的应用。

Petar Veličković是图注意力网络的一作，他和 Guillem Cucurull、Yoshua Bengio 等人一起完成了图注意力网络的开山之作——《Graph Attention Networks》，这篇论文被 ICLR 2018 接收，目前被引量超过 3000。

除了图注意力网络，他还是《Deep Graph Infomax》的一作。在这篇论文中，他和 William Fedus、Yoshua Bengio 等人提出了以无监督方式学习图结构数据中节点表示的通用方法，该论文被 ICLR 2019 接收。

去年，机器之心曾报道过他的博士论文，Petar 用 147 页篇幅详述了「结构在神经网络中的复兴」，涵盖他之前的研究工作和其他关于 GNN 的内容。而今天介绍的这个讲座更是融合了他「近 4 年 GNN 研究的精华」，对图神经网络领域感兴趣的读者可以一看。

个人主页地址：https://petar-v.com/

附属材料：

斯坦福CS224W《图机器学习》2021课程开始了！Jure Leskovec大牛主讲，附课程PPT下载

重磅！《几何深度学习》新书发布，帝国理工/DeepMind等图ML大牛共同撰写，160页pdf阐述几何DL基础原理和统一框架

---------♥---------

声明：本内容来源网络，版权属于原作者

图片来源网络，不代表本公众号立场。如有侵权，联系删除

AI博士私人微信，还有少量空位

如何画出漂亮的深度学习模型图？

如何画出漂亮的神经网络图？

一文读懂深度学习中的各种卷积

点个在看支持一下吧