Graph Representation Learning学习笔记-chapter3

Posted 2022-11-20 Dodo·D·Caster

Chapter3 Neighborhood Reconstruction Methods

node embedding

• 把节点编码为低维向量-表征graph structure和local graph neighborhood structure

this chapter : low-dimensional embeddings of nodes

3.1 An Encoder-Decoder Perspective

encoder model

• 图→低维嵌入矩阵

decoder model

• 嵌入矩阵→重构节点邻居信息

The encoder maps the node u to a low-dimensional embedding $z_u$.
The decoder then uses $z_u$ **to reconstruct u’s local neighborhood information.

decoder : 给一对节点嵌入打分（相似值）

similarity function : 定义节点相似值（也就是真实的相似值）

loss function : 评估decoder的结果和真实值的差异

encoder

• shallow embedding methods

decoder

• pairwise decoders : 预测一对节点间关系/相似性

损失函数

D ：训练集
$DEC(z_u,z_v)$ ：uv节点相似值
S[u,v] ：uv节点真实相似值

降低L的方法 ：stochastic gradient decent

encoder-decoder 框架的好处 ：能够基于decoder function, graph-based similarity measure和loss function简洁地定义和比较不同的嵌入方法

3.2 Factorization-based approaches

decoder的结果为DEC，即计算出来的节点间相似值
similarity measure为S[]，表示真实的节点相似值
loss function表示计算值和真实值之间的差距

方法

• Laplacian eigenmaps
• Graph Factorization
• GraRep
• HOPE

3.3 Random walk embeddings

similarity measure表示为从u出发经过长度为T的walk访问v节点的可能性
这是与3.2最大的区别

方法

• DeepWalk
• node2vec

两个方法的区别：对损失函数的计算不同
损失函数计算复杂度很高，两者都通过计算approximate equation来近似，但方法不同
DeepWalk : hierarchical softmax
node2vec : noise contrastive

Large-scale information network embedings(LINE)

基本思想：结合两个encoder-decoder的目标

第一个目标

encode first-order adjacency information

• decoder：

• similarity measure:
  • an adjacency-based similarity measure
  • i.e., S[u, v] = A[u, v]

第二个目标

more similar to the random walk approaches

• decoder
  • 使用KL-divergence训练来encode two-hop邻接信息

shallow embedding approaches

• 为图中每个节点训练一个独特的嵌入
• 缺点
  • 节点间不共享数据-导致统计和计算低效
  • 没有利用节点特征
  • 只能为可见节点进行嵌入
    • 除非特殊优化，否则不能学习不可见节点的嵌入