KDD CUP 2021首届图神经网络大赛放榜，百度飞桨PGL获得2金1银

Posted 2021-08-03 百度大脑

近日，由 KDD CUP 与 OGB（Open Graph Benchmark）联合举办的首届图神经网络大赛正式放榜，在 DeepMind、微软、蚂蚁金服、UCLA 等全球500多个顶尖企业、高校和实验室的激烈竞争中，百度凭借飞桨图学习框架 PGL 一路过关斩将，最终在全部三个赛道包揽了两冠一亚。

▲ 本次大赛承办方斯坦福大学 Jure Leskovec 教授宣布冠军队伍

据了解，KDD CUP 是 ACM SIGKDD 组织的年度赛事，素有 「大数据领域世界杯」 之誉，是目前数据挖掘领域最高水平、最具影响力、规模最大的国际顶级赛事。而今年，KDD CUP 与 OGB 联合举办了第一届 OGB-LSC（OGB Large-Scale Challenge）比赛，提供来自真实世界的超大规模图数据，来完成图学习领域的节点分类、边预测和图回归三大任务。

本次比赛采取「闭卷考试」，整个比赛周期只有2次提交模型结果机会，极其考验参赛队伍模型泛化能力，竞赛难度极大。得益于百度在图神经网络的持续深耕，在本次大赛的三大赛道之中，百度飞桨图学习框架 PGL，合计夺得大规模节点分类赛道冠军、大规模图关系预测赛道冠军、化学分子图性质预测赛道亚军。

▲ 飞桨 PGL 夺冠页面：https://ogb.stanford.edu/kddcup2021/results/

飞桨 PGL 代码完全开放，欢迎大家使用、反馈和贡献。

PGL 链接：
https://github.com/PaddlePaddle/PGL
B 站 图神经网络 7 日教程：
https://www.bilibili.com/video/BV1rf4y1v7cU
PGL 图学习入门教程：
https://aistudio.baidu.com/aistudio/projectdetail/413386
飞桨 PGL 参赛报告 & 代码：
https://github.com/PaddlePaddle/PGL/tree/main/examples/kddcup2021

大规模节点分类赛道冠军：引入基于异构关系的统一消息传递模型

OGB-LSC 节点分类数据集，来源于真实世界的超大规模学术引用网络 MAG（Microsoft Academic Graph）。OGB 官方提取了超2.4亿的实体（包括论文、作者等），构建出包含16亿边关系的大规模异构图。参赛选手需从异构图中挖掘有效信息，预测出指定的 arXiv 论文的主题（总共包含153个主题，例如 cs.LG 机器学习、q-bio.BM 生物分子等）。 

目前，解决节点分类的图学习方法主要包含两类：一类是标签传递算法，而另一类则是通过模型对多阶邻居特征进行聚合，并预测中心节点标签的图神经网络。然而目前这两种方法均有其局限性，无法最大限度的利用图节点中的标签信息。

为解决上述问题，飞桨 PGL 提出了统一消息传递模型 UniMP，巧妙地利用了『标签掩盖』预测策略，使得模型可以在训练和预测中，同时进行标签传递和特征聚合，成功地将上述两种图学习方法统一到消息传递模型中，并在半监督节点分类任务上取得明显提升。目前，相关论文已被 IJCAI2021 收录，并成为目前节点分类任务中的主流的强基准。

▲ UniMP：标签与特征（图中蓝色能量）在统一的消息传递机制下进行传播

针对本次的大规模异构图，飞桨 PGL 进一步引入了基于异构关系的采样方法与注意力融合机制，将 UniMP 升级成为 R-UniMP，并且在飞桨并行计算框架基础上实现了分布式大规模图神经网络模型的训练和预测。实验结果相对官方基线的验证集准确率提升将近10个百分点！并最终在与 DeepMind、微软、蚂蚁金服、清华等一众国内外科技公司与学术机构的较量中摘得桂冠。 

大规模图关系预测赛道冠军：提出 20 层的 NOTE-RPS 知识图谱嵌入模型

本次边预测任务为大规模知识图谱中的关系预测。在知识图谱中，通过连接不同实体的三元组（例如姚明-出生于 ->上海）来表示关于世界的事实知识。然而，这些大型知识图谱并不完善，缺少实体之间的许多关系信息。

使用机器学习方法自动估算缺失的三元组可以显著减少人工修补成本，从而提供了更全面的知识图谱。本次比赛使用 Wikidata 知识图谱，包含近9千万的实体和5亿的三元组，为至今数据规模最大的知识图谱任务。

目前业界知识表示模型层出不穷，例如 TransE、RotatE 等。飞桨 PGL 基于大规模知识表示库 PGL-KE，对已有算法升级提出了 Normalized Orthogonal Transforms Embedding（NOTE）模型，能够对关系进行多维度建模，同时能在大规模场景下仍保持数值稳定性。

▲ NOTE：归一化正交转换知识图谱嵌入模型

其次，飞桨 PGL 提出的 Relation-based Post Smoothing (RPS）图神经网络算法，对训练完的 NOTE 模型进行后处理，并使用了20层的 RPS 模型，堪称知识图谱领域最深的图神经网络模型。基于 NOTE+RPS 大规模知识表示方案的实验结果相对于官方提供的基准提升了12个百分点，并最终在与阿里巴巴、哈工大、中科大等团队的较量中一举夺魁，助力知识图谱向实践应用迈出了巨大一步。

化学分子图性质预测赛道：利用分子 3D 构象构造自监督预训练辅助任务

分子特性预测已被广泛认为是计算药物和材料发现中最关键的任务之一。基于 DFT 量子物理计算的方法需要耗费大量时间才能有效预测多重分子性质。为了利用图神经网络强大的表达能力来预测分子性质，飞桨 PGL 与螺旋桨 PaddleHelix 生物计算框架联合提出了 LiteGEM 模型，利用分子的 3D 构象构造自监督预训练辅助任务，提升分子性质预测效果，并最终获得亚军。

应用落地：可支持更大规模产业应用，飞桨图学习框架 PGL 迎来重大升级

除了在 KDD CUP 上全面开花，飞桨 PGL 也一直持续地致力于图神经网络算法创新以及更大规模的工业应用落地。

近日，飞桨 PGL 迎来重大升级，推出了万亿超大规模分布式图引擎，本次 KDD CUP 夺冠技术方案即是均基于该分布式图引擎。分布式图引擎研发的初衷也是希望图学习算法可以在业界实现更大规模的产业应用，目前，百度已借助飞桨 PGL 在搜索、信息流推荐、金融风控、智能地图、知识图谱等多个场景实现数十项应用落地。

▲ 深度学习开发者峰会 WaveSummit 2021万亿图引擎发布现场

此外，飞桨 PGL 还与多个外部机构合作：网易云音乐在调研了大量开源方案后，也选择了对大规模图训练更加友好的飞桨 PGL 作为云音乐推荐的图神经网络基础框架。同时，飞桨 PGL 也助力科技创新2030「新一代人工智能」重大项目 OpenKS 知识计算引擎。

源于图神经网络对于复杂数据建模的便利以及其强大的表达能力，飞桨 PGL 也探究图神经网络与多个交叉学科的结合，包括构建大数据疫情预测系统，与飞桨螺旋桨 PaddleHelix 合作致力于化合物属性预测，并在多个化合物预测榜单上取得 SOTA。

▲ 飞桨图学习框架 PGL 

图学习作为通用的人工智能算法之一，势必成为智能时代新的基础能力，赋能各行各业，助力智能经济腾飞。现阶段仅仅是图学习热潮的开始，未来还将有更加深度的技术产出，和更大规模的产业机会出现，扎根图学习领域，持续为产业智慧化升级赋能，需要从现在就开始。