论文｜SDNE的算法原理代码实现和在阿里凑单场景中的应用说明
Posted 搜索与推荐Wiki
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了论文｜SDNE的算法原理代码实现和在阿里凑单场景中的应用说明相关的知识，希望对你有一定的参考价值。
1.概述
SDNE（Structural Deep Network Embedding）算法是发表在KDD-2016上的一篇文章，论文的下载地址为：https://www.kdd.org/kdd2016/papers/files/rfp0191-wangAemb.pdf
SDNE主要也是用来构建node embedding的，和之前介绍的node2vec发表在同年，但不过node2vec可以看作是deepwalk的扩展，而SDNE可以看作是LINE的扩展。
2.算法原理
SDNE和LINE中相似度的定义是一致的，同样是定义了一阶相似度和二阶相似度，一阶相似度衡量的是相邻的两个顶点对之间相似性，二阶相似度衡量的是，两个顶点他们的邻居集合的相似程度。
模型结构 如下：
模型主要包括两个部分：无监督和有监督部分，其中：
- 无监督部分是一个深度自编码器用来学习二阶相似度（上图中两侧部分）
- 监督部分是一个拉普拉斯特征映射捕获一阶相似度（中间的橘黄色部分）
对于一阶相似度，损失函数定义如下：
L
1
s
t
=
∑
i
,
j
=
1
s
i
,
j
∥
y
i
K
−
y
j
K
∥
2
2
=
∑
i
,
j
=
1
s
i
,
j
∥
y
i
−
y
j
∥
2
2
L_1st=\\sum_i,j=1s_i,j \\left \\| y_i^K - y_j^K \\right \\| _2^2 = \\sum_i,j=1s_i,j \\left \\| y_i - y_j \\right \\| _2^2
L1st=i,j=1∑si,j∥∥yiK−yjK∥∥22=i,j=1∑si,j∥yi−yj∥22
该损失函数可以让图中的相邻的两个顶点对应的embedding vector在隐藏空间接近。
论文中还提到一阶相似度的损失函数还可以表示为：
L
1
s
t
=
∑
i
,
j
=
1
s
i
,
j
∥
y
i
−
y
j
∥
2
2
=
2
t
r
(
Y
T
L
Y
)
L_1st=\\sum_i,j=1s_i,j \\left \\| y_i - y_j \\right \\| _2^2 = 2tr(Y^TLY)
L1st=i,j=1∑si,j∥yi−yj∥22=2tr(YTLY)
其中：
- L L L 是图对应的拉普拉斯矩阵
- L = D − S L = D - S L=D−S， D D D 是图中顶点对应的度矩阵， S S S 是邻接矩阵， D i , i = ∑ j s i , j D_i,i = \\sum_js_i,j Di,i=∑jsi,j
拉普拉斯矩阵是「图论」中重要的知识点，可以参考：https://blog.csdn.net/qq_30159015/article/details/83271065，查看更清晰的介绍
对于二阶相似度，损失函数定义如下：
L
2
n
d
=
∑
i
n
∥
x
i
^
−
x
i
∥
2
2
L_2nd = \\sum_i^n \\left \\| \\hatx_i - x_i \\right \\| _2^2
L2nd=i∑n∥xi^−xi∥22
这里使用图的邻接矩阵进行输入，对于第
i
i
i 个顶点，有
x
i
=
s
i
x_i = s_i
xi=si ，每一个
s
i
s_i
si 都包含了顶点
i
i
i 的邻居结构信息，所以这样的重构过程能够使得结构相似的顶点具有相似的embedding表示向量。
但是现实中由于图都是稀疏的，邻接矩阵
S
S
S 中的非零元素是远远少于零元素的，那么对于神经网络来说只要全部输出0也能取得一个不错的效果，这不是我们想要的。为了解决这个问题，论文提出一种使用带权损失函数，对于非零元素具有更高的惩罚系数。 修正后的损失函数为：
L
2
n
d
=
∑
i
n
∥
(
x
i
^
−
x
i
)
⊙
b
i
∥
2
2
=
∥
(
X
i
^
−
X
i
)
⊙
B
∥
F
2
L_2nd = \\sum_i^n \\left \\| (\\hatx_i - x_i) \\odot b_i \\right \\| _2^2 = \\left \\| (\\hatX_i - X_i) \\odot B \\right \\| _F^2
L2nd=i∑n∥(xi^−xi)⊙bi∥22=∥∥∥(Xi^−Xi)⊙B∥∥∥F2
其中：
- ⊙ \\odot ⊙ 为逐元素积
- b i = b i , j j = 1 n b_i = \\left \\ b_i,j \\right \\_j=1^n bi=bi,jj=1n，若 s i , j = 0 s_i,j=0 si,j=0，则 b i , j = 1 b_i,j=1 bi,j=1，否则 b i , j = β > 1 b_i,j = \\beta >1 bi,j=β>1
模型整体的优化目标为：
L
m
i
x
=
α
L
1
s
t
+
L
2
n
d
+
v
L
r
e
g
L_mix = \\alpha L_1st + L_2nd + v L_reg
Lmix=αL1st+
论文｜SDNE的算法原理代码实现和在阿里凑单场景中的应用说明