Graph Representation Learning阶段总结Chapter1~6

Posted 2022-11-23 Dodo·D·Caster

Chapter1 Introduction

主要介绍了图的概念、表示和种类，以及对图的机器学习应用

• 概念：节点、边
• 表示：邻接矩阵
• 种类：有向图、无向图、带权图、多关系图、异构图、多重图
• 机器学习应用：节点分类、关系预测等

Chapter2 Background and Traditional Approaches

主要介绍了图相关的特征表示、相似度检测和聚类方法

• 特征表示
  • 节点级：度、中心性、聚类系数
  • 图级：Bag of nodes、迭代的邻居聚合、graphlets、path-based methods
• 社区重叠检测（判断图的相似）
  • 局部重叠（共同邻居）：Sorensen、Salton、Jaccard、RA、AA
  • 全局重叠（步长）：Katz、LHN、random walk
• 图拉普拉斯和谱聚类

Chapter3 Neighborhood Reconstruction Methods

主要介绍了低维节点嵌入方法

• encoder-decoder框架、loss function
• 低维嵌入方法
  • 基于分解的方法：Lap.Eigenmaps、Graph Fact、GraRep、HOPE
  • random walk嵌入：DeepWalk、node2vec
  • LINE：2个encoder-decoder、shallow embedding approaches

Chapter4 Multi-relational Data and Knowledge Graphs

主要介绍多关系图的节点嵌入方法

• 损失函数：负采样交叉熵损失、Max-margin los
• decoders：RESCAL、TransE、TransX、DistMult、ComplEx、RotatE
  • 检测表达能力的方法：对称、反对称、反演、传递
  • （Input：节点嵌入+关系类型）

Chapter5 The Graph Neural Network Model

主要介绍为整个图的节点生成嵌入的GNN方法

• 消息传递方法（节点级）：basic GNN、self-loop GNN
• 聚合方法（节点级）：规范化社区、GCN、Pooling、GAT
• 更新方法（缓减过平滑）：skip connection、gated、jumping knowledge
• 处理多关系图和异构图：RGCN、注意力机制+特征连接
  • 消息传递方法（边、图级）
• 图池化、图粗化

Chapter6 Graph Neural Networks in Practice

主要介绍GNN的应用和优化

• GNN应用：节点分类、图分类、关系预测
• 优化：subsampling、mini-batch、正则化