论文阅读｜深读DRNE:Deep Recursive Network Embedding with Regular Equivalence

Posted 2022-06-28 海轰Pro

目录

• 前言
• ABSTRACT
• 1 INTRODUCTION
• 2 RELATED WORK
• 3 DEEP RECURSIVE NETWORK EMBEDDING
• • 3.1 Notations and Definitions
  • 3.2 Recursive Embedding
  • 3.3 Regularization
  • 3.4 Optimization
  • 3.5 Theoretical Analysis
  • 3.6 Analysis and Discussions
  • • 3.6.1 Out-of-sample Extension
    • 3.6.2 Complexity Analysis
• 4 EXPERIMENTS
• • 4.1 Baselines and Parameter Settings
  • 4.2 Network Visualization
  • 4.3 Regular Equivalence Prediction
  • 4.4 Structural Role Classification
  • 4.5 Parameter Sensitivity
  • 4.6 Scalability
• 5 CONCLUSION
• 读后总结
• 结语

前言

Hello！
非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～
 
自我介绍 ଘ(੭ˊᵕˋ)੭
昵称：海轰
标签：程序猿｜C++选手｜学生
简介：因C语言结识编程，随后转入计算机专业，获得过国家奖学金，有幸在竞赛中拿过一些国奖、省奖…已保研。
学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！
 
唯有努力💪
 

知其然 知其所以然！

 
本文仅记录自己感兴趣的内容

ABSTRACT

网络嵌入的目的是在嵌入空间中保持顶点的相似性

现有的方法通常通过节点之间的直接连接或共同邻域来定义相似性，即结构等价

然而，位于网络不同部位的顶点可能具有相似的角色或位置，即正则等价，这一点在网络嵌入文献中基本被忽略。

正则等价是用递归的方式定义的，即两个正则等价顶点具有同样正则等价的网络邻居。

因此，我们提出了一种新的深度递归网络嵌入方法来学习具有规则等价的网络嵌入。

更具体地说，我们提出了一个层规范化的LSTM，通过递归地聚合它们的邻域表示来表示每个节点。

我们从理论上证明了一些流行的、典型的、符合规则等价的中心性测度是我们模型的最优解。

1 INTRODUCTION

有多种方法来量化网络中顶点的相似性。最常见的是结构等效[18]。

如果两个顶点共享许多相同的网络邻居，那么它们在结构上是等价的。

以往关于网络嵌入的研究大多旨在通过高阶近邻来保持结构等价性[33,35]

将网络邻居扩展为高阶近邻，如直接近邻、近邻的近邻等（嵌套循环）。

然而，在许多情况下，顶点具有相似的角色或占据相似的位置，而没有任何公共邻居。例如：

两位母亲与丈夫和几个孩子的关系模式相同。
虽然如果两位母亲没有相同的亲属，她们在结构上并不对等，但她们确实扮演着相似的角色或职位。

这些情况使我们得到了顶点相似的扩展定义，称为正则等价。

如果两个顶点的网络邻居本身相似(即规则等价)，则它们被定义为规则等价

显然，规则等价是结构等价的一种松弛。结构等价保证了规则等价，但相反的方向不成立。

相比之下，规则对等更灵活，能够覆盖与结构角色或节点重要性相关的广泛的网络应用，但在很大程度上被网络嵌入的文献所忽视。

---

为了保持网络嵌入中的正则等价，即两个正则等价节点应该具有相似的嵌入。

一种简单的方法是显式计算所有顶点对的正则等价，并要求节点嵌入的相似性来近似其对应的正则等价。

但对于大规模网络来说，这是不可行的，因为计算规则等值的复杂性很高。

另一种选择是将常规等价替换为更简单的图论度量，例如中心性度量。

虽然已经设计了许多中心性度量来表征顶点的角色和重要性，但一个中心性只能捕捉网络角色的特定方面，这使得学习一般的和任务无关的节点嵌入变得困难。更不用说一些中心性度量，如中间性中心性，也具有很高的计算复杂性

如何在网络嵌入中有效、高效地保持正则等价仍然是一个有待解决的问题。

---

如前所述，正则等价的定义是递归的。这启发了我们以递归的方式学习网络嵌入，即一个节点的嵌入是通过它的邻居的嵌入聚合的

在一个递归步骤中(如图1所示)，如果节点3和5、4和6、7和8规则等价，因此已经具有类似的嵌入，则节点1和2将具有类似的嵌入，从而导致它们的规则等价为真。

---

正是基于这种思想，我们提出了一种新的深度递归网络嵌入(DRNE)方法。

更具体地说

• 我们将节点的邻居转换为有序序列
• 并提出了一种层归一化LSTM
• 以非线性的方式将邻居的嵌入聚合到目标节点的嵌入中。

我们从理论上证明了一些流行的和典型的中心性度量是我们模型的最优解。

实验结果还表明，学习的节点表示能够很好地保持成对正则等价，并预测每个节点的多个中心性度量的值。

---

本文有以下贡献:

• 我们研究了一个新的具有正则等价的节点表示学习问题，这是网络分析中的关键问题，但在网络表示学习的文献中被很大程度上忽略了。
• 我们找到了一种将全局正则等价相关信息融入到节点表示中的有效方法，并提出了一种新的深层模型DRNE，该模型通过以非线性的方式递归聚集邻居的表示来学习节点表示。
• 我们从理论上证明了所学习的节点表示能够很好地保持成对正则等价，并反映了几种流行的和典型的节点中心性。实验结果还表明，该方法在结构角色分类中明显优于中心性度量方法和其他网络嵌入方法。

2 RELATED WORK

现有的大多数网络嵌入方法都是沿着保持观察到的成对相似性和结构等价的路线发展的。

• DeepWalk[28]使用随机行走从网络中生成节点序列，并利用语言模型通过将序列视为句子来学习节点表示
• Node2vec[12]扩展了这一思想，提出了一个有偏二阶随机游走模型
• LINE[33]优化了一个目标函数，旨在保持节点的两两相似性和结构等价。
• M-NMF[36]将更宏观的结构——社区结构纳入到嵌入方法中
• Structural Deep Network Embedding 声称网络的底层结构是高度非线性的，并提出了一个深度自编码器模型，以保持网络结构的一阶和二阶邻近性。
• Label informed attributed network embedding & Attributed network embedding for learning in a dynamic environment：将节点属性加入到网络中，平滑地将属性信息和拓扑结构嵌入到低维表示中
• RolX[13]为节点枚举各种手工制作的结构特征，并为这个关节特征空间找到更适合的基向量
• 类似地，struc2vec[29]通过定义某种形式的中心性启发式来衡量结构相似性，对中心性相似性的显式计算使其不可扩展

在学习表示时，这些方法都不能保持规则等价

---

规则对等作为结构对等的一种放宽的概念，可以更好地捕捉结构信息

• REGE[7]和CATREGE[7]是通过迭代搜索两个顶点邻居的最优匹配来实现的
• VertexSim[18]利用线性代数的递归方法构造相似性测度。但由于规则等价的计算复杂度高，这在大规模网络中是不可行的

---

中心性度量是衡量网络中节点结构信息的另一种方法

为了研究如何更好地捕捉结构信息，提出了一组中心性[3,20,21]
由于它们中的每一个只捕获结构信息的一个方面，某种中心性不能很好地支持不同的网络和应用程序
此外，设计中心性度量的手工方式使得它们不太全面，无法纳入常规等效相关信息

综上所述，对于学习具有规则等价的节点表示，仍然没有很好的解决方案

3 DEEP RECURSIVE NETWORK EMBEDDING

DRNE整体框架图

• （a）采样邻域
• （b）排序邻域中的节点（按照度）
• （c）层归一化LSTM，将相邻节点的嵌入聚合到目标节点的嵌入中。$X_i$为节点i的嵌入，$LN$为层归一化
• （d）弱引导正则化器

---

图中步骤的理解：

• （a）以节点0为例，我们先对它邻居节点123进行采样
• （b）按degree进行排序形成一个序列（312）
• （c）用该领域序列$X_3,X_2,X_1$的嵌入向量作为输入，通过单层normalized LSTM得到整合的表示 $h_T$ ，通过$h_T$ 重构嵌入向量$X_0$和节点$0$，嵌入的向量$X_0$能够良好的保留局部领域性质。
• （d）另一方面，我们可以用度 $d_0$ 作为中心衡量的弱监督信息，将$h_T$输入到多层感知器MLP中，以近似得到 $d_0$ 。对网络中的其他节点执行同样的过程。当我们更新$X_3,X_1,X_2$时，节点$0$的嵌入$X_0$也会随之更新。通过反复的迭代更新重复这个过程，那么嵌入的$X_0$就可以包含整个网络的机构信息

参考：https://zhuanlan.zhihu.com/p/104488503

3.1 Notations and Definitions

$G=(V,E)$

$N(v)=u|(v,u)\in E$

$\mathbf{X}={\mathbb{R}}^{|V|\times k}$：顶点的嵌入空间向量表示

$d_v=|N(v)|$：顶点$v$的度

$I(x)=\begin{array}{l}1x\ge 0\\ 0else\end{array}$

---

Definition 3.1 (Structural Equivalence)

• $s(u)=s(v)$ : 节点$u$和$v$是结构等价
• $N(u)=N(v)\Rightarrow s(u)=s(v)$
• 也就是节点的邻域相同，则为结构等价

Definition 3.2 (Regular Equivalence)

• $r(u)=r(v)$：节点$u$和$v$是正则等价
• $r(i)|i\in N(u)=r(j)|j\in N(u)$（没懂）

3.2 Recursive Embedding

根据定义3.2，我们以递归的方式学习节点嵌入，目标节点的嵌入可以用其邻居节点嵌入的聚合来近似

基于此概念，我们设计了如下损失函数:

其中Agg是聚合函数

---

在一个递归步骤中，学习到的嵌入节点可以保留其邻居的局部结构

通过迭代更新学习到的表示，学习到的节点嵌入可以在全局意义上融合其结构信息，这与规则等价的定义是一致的

---

由于真实网络的底层结构往往是高度非线性的[22]，我们设计了一个深度模型，归一化长短时记忆层(ln-LSTM)[2]作为聚合函数

众所周知，LSTM对序列建模是有效的。然而，节点的邻居在网络中没有自然排序

这里我们使用节点的度作为将邻居排序成有序序列的标准

• 主要是因为度是邻居排序的最有效的度量
• 而度在许多图论度量中往往起着重要的作用，特别是那些与结构角色相关的度量，如PageRank[27]和Katz[25]

---

设

• 有序邻域的嵌入为$X_1，X_2，\dots ，X_t，\dots ，X_T$
• 在每个时间步长$t$时，隐态$h_t$是$t$时刻的输入嵌入$X_t$与其之前的隐态$h_{t-1}$的函数，即$h_t=LSTMCell(h_{t-1},X_t)$

当LSTM Cell对嵌入序列进行从1到T的递归处理时，隐含表示$h_t$的信息会越来越丰富

$h_T$可以看作是邻居的聚集表示。

为了学习长序列中的长距离相关性，LSTM利用了门控机制

• 遗忘门决定我们要从记忆中丢弃什么信息
• 输入门和旧记忆一起决定我们要在记忆中存储什么新信息
• 输出门根据记忆决定我们要输出什么

具体来说，LSTM跃迁方程LSTMCell为:

此外，为了避免以长序列为输入的梯度[14]爆炸或消失的问题，我们还引入了层归一化

层归一化的LSTM使其不变地重新缩放所有的求和输入。它产生了更稳定的动力学

特别是，它在方程6后使用额外的归一化使细胞状态$C_t$居中并重新缩放，如下所示:

论文阅读｜深读DANE:Deep Attributed Network Embedding

论文阅读｜深读GraLSP: Graph Neural Networks with Local Structural Patterns

论文阅读｜深读VERSE: Versatile Graph Embeddings from Similarity Measures

论文阅读｜深读 GraphSAGE：Inductive Representation Learning on Large Graphs

论文阅读｜深读LINE: Large-scale Information Network Embedding

论文阅读｜深读 GraphSAGE：Inductive Representation Learning on Large Graphs