动态图上的异常检测文献综述(2015)

Posted 2023-03-22

参考技术A

动态图上的异常检测任务包括：发现异常的对象、关系、时点。动态图上的异常检测与静态图上的异常检测不同的地方在于：

本文首先将异常类型分为：anomalous vertices, edges, subgraphs, and events(or change)，将使用的方法分为：community detection, MDL(minimum description length) and compression, decompression, distance, probabilistic， 按每种方法使用的异常类型进行了文献学分类。各方法的主要参考文献见表1：

本文假设不同时点的节点和边都有唯一标签从而不会混淆，定义 为图序列，其中 为总时间步， ， 为节点集， 为边集， 时称 为图流。本文的主要记号见表2：

给定 ，节点集 ,打分函数 ，定义异常节点集为 ，使得对于 ， ，其中 为得分 的摘要式统计。

一个典型的异常节点如图1，其可由基于社区检测的方法识别，即： 其中 为节点所属的社会划分, 为异或操作。

给定 ，边集 ,打分函数 ，定义异常边集为 ，使得对于 ， ，其中 为得分 的摘要式统计。

一个典型的异常边如图2，可令 ，其中 为时间步 时 的权重,可以为边的概率。

给定 ，子图集 ,打分函数 ，定义异常集为 ，使得对于 ， ，其中 为得分 的摘要式统计。

两种典型的异常子图如图3,其中(a)为图的收缩，(b)为图的分裂。图的收缩可根据子图中的的数量衡量，即 ，图的分裂可由不同时间点社区的数量衡量。

与异常节点、边、子图检测不同，异常事件或异常突变检测检验的是时点。

给定 ,打分函数 ，若时点 满足: ， ，则称时点 为一个事件。

给定 ,打分函数 ，若时点 满足: ， ，则称时点 为一个突变。

通常的异常检测都使用两步法：第一步，基于特征的图表示；第二，基于机器学习的异常检测。

基于社区检测的方法关注的是社区和关联节点的演化过程，特征向量的生成亦基于图中的社区结构。不同社区检测方法的区别在于：（1）社区结构的领域，如社区内的连接性v.s.单个节点在每一步所属的社区；(2)社区结构的定义，如基于概率的软社区定义v.s.硬社区定义。基于社区检测的方法可用于异常定点、子图、突变的检测。

基于软社区匹配并单独考察每一个社区，我们可以在连续时间步内计算每个节点归属的平均变化，如果某个节点归属的平均变化显著异于其他节点，则称其为演化社区异常点。

节点社区归属的变化可以构造一个时间模式，称为软时序模式。一些文献使用了最小描述长度(MDL)结合非负矩阵分解的方法来自动检测节点角色及构造转移模型。多数文献通过抽取图中不同节点的共同模式，并比较每个节点与共同模式之间的差异来定义异常节点。部分文献使用了交替迭代优化替代常用的两步法。部分文献使用了corenet的概念，该概念不同于单纯使用density,modularity,hop-distance等概念，而是使用了节点间的加权路径，即一个节点的corenet包含该节点与权重大于给定阈值的两跳邻居。假设两个强连接的节点通常属于同一社区，则如果移除一个节点的两个邻居，一个邻域具有较高的边权重，另一个具有较低的边权重，则移除较高权重邻居的影响应更大，在每一步，每个节点首先被赋予一个异常得分，该得分衡量了其corenet的变化，异常得分较高的 各节点将被视为异常节点。

文献【69】定义了六种基于社区的异常：shrink, grow, merge, split, born, and vanish。其使用图和社区代表(representatives)进行比较以减少计算量，图代表为出现在t时刻，同时还出现在t-1、t+1或t+1与t-1时刻的节点集，社区代表是出现在其他社区最少的定点集合，基于社区代表和图代表，基于规则，判断社区是否落在六种异常中。

文献【73】定义了一种基于社区的异常：comet，周期性出现或消失的社区，演化图可表示为一个张量，然后基于低秩张量分解和MDL原则进行comet检测。

文献【3】基于多种信息源构造时序复网络，识别跨时间和网络的稳定社区结构。行为相似的网络可以用聚类或前验知识分组，如何一个社区结构在组内跨时间步稳定，但在组外没有对应社区，则该社区即为异常，如何两个社区共享一定比例的定点则称为对应。

社交网络可以根据特定时间窗口内的发文量定义事件，一个经历共同事件的组即构成一个异常子图。

通过划分图流为一致的分割来检测，分割是依据划分的相似性。

通过将最新图的顶点分区与当前增长分割中的图的分区进行比较，可以在线找到这些分割。【67】基于可返回随机的相关矩阵和modularity最大化来进行定点划分，当新图的划分与当前分割的划分有很大不同时，一个新段开始，并将新图的时间点输出为检测到的突变。两个划分的相似度使用Jaccard系数定义。GraphScope思路类似，但基于MDL来指导划分和分割。

基于MDL原则和基于该原则的压缩技术利用数据中的模式和规律性实现紧凑的图表示，其主要通过将图的邻接矩阵表示为一个二进制串，如果矩阵的行和列可以重新排列使矩阵的二进制字符串表示的熵最小化，那么压缩损失（也称为编码损失）就会最小化。数据指向的特征都来自于图或其特定子结构的编码代价；因此，异常被定义为抑制可压缩性的图或子结构（如边）

对于一条边和对应子图，如果包含该边的编码损失比不包含该边的编码损失高，则称该边为异常边。

【74】使用了一种两步交替迭代法进行节点的自动划分，当节点划分的熵收敛时，根据包含和不包含该边的编码损失，该方法也给出了边的异常度得分。

突变检测的主要思路是:连续时间步间的图是相似的，因而可以分为一组，从而降低压缩比。压缩比的上升表明新一个时间步的图与已有的图差异明显，因此是一个突变。

该方法将图集合表示为一个tensor，在该tensor上进行矩阵分解或降维，基于分解或降维后的图发现其模式和规律性，该方法可以融合更多属性信息，最常用的方法是SVD和PARAFAC（广义SVD）。

矩阵分解可用于计算每个节点的活跃（activity)向量，如果某个节点的活跃向量在连续时间步间变化明显，则称为异常节点。

【87】首先抽取每个节点的边相关矩阵 ，即该节点的每个邻域都有一行一列，对于节点 的矩阵中的一个entry 代表了边 和 间加权频率的相关性，加权频率由衰减函数获得，时间越近权重越高。M的最大特征值和对应特征向量即顶点的活跃向量的summary及边的相关性。通过寻找这些值的变化而形成的时间序列用于计算每个时间步长中每个顶点的分数，得分高于阈值的顶点将被输出为异常。

基于分解的异常事件检测有两种方法：（1）先基于分解方法来近似原始数据，然后以重建损失作为近似优劣的指标。如果某个子张量、切片或元素的重建损失很高，则即可以视其与周围数据不同特征不同，将其标记为异常事件、子图或节点。（2）跟踪奇异值和向量，以及特征值和特征向量，以检测异常顶点的显著变化。

为解决 intermediate blowup 问题（即计算中输入和输出张量超过内存限制），【81】提出了momery-efficient tucker（MET）分解方法，该方法源于Tucker分解，Tucker分解将高阶tensor用一个core tensor和每个mode(维度)矩阵表示。【80】使用了Compact Matrix Decomposition(CMD)，其可以用来计算给定矩阵的稀疏低秩矩阵。使用CMD对图流中的每个邻接矩阵进行分解，可得到重建值的时间序列，基于重建值序列可进程事件检测，典型应用有COLIBRI, PARCUBE，其中后者在斑点(spotting)异常中的表现更高效。

【84】使用了随机图模型进行基于概率模型的检测，其将真实图邻接矩阵和期望图的邻接矩阵间的差异构造为残差矩阵，对残差矩阵执行SVD，再使用线性Ramp滤波器，基于top奇异值即可进行异常时间窗口检测，通过检查正确的奇异向量来确定相应的顶点。

除以上方法，我们还可以基于分解空间的显著变化来识别事件。【77】通过对数据执行PCA，计算的特征向量可以分为正常和异常两个集合，方法是检验数据中的值映射到特征向量。在每个时间步，根据特征值对特征向量进程降序排列，第一个特征向量则包含一个在其余值的3个标准差之外的投影点，此后的每个特征向量，都构成了异常集。第二步即是将数据映射到正常和异常子空间，一旦完成了这些操作，当从上一个时间步长到当前时间步异常成分的修改超过一个阈值时，即将其视为一个事件。【83】扩展了该方法，提出了联合稀疏PCA和图引导的联合稀疏PCA来定位异常和识别对应的顶点。通过为异常集使用稀疏的成分集，可以更容易识别负责的顶点。顶点根据它们在异常子空间中对应行的值得到一个异常分数，由于异常分量是稀疏的，不异常的顶点得分为0。

图的活跃向量 为主成分，左奇异向量对应最大奇异值，奇异值和奇异向量通过对加权邻接矩阵进行SVD得到。当活跃向量大幅异于“正常活跃"向量时，即定义该时点为突变点，”正常活跃“向量由前序向量得到。

正常活跃向量 ，它是对最后W时间步中活动向量形成的矩阵进行SVD得到的左奇异向量。每个时点都定义一个得分 ,其代表了当前活跃向量与正常向量的差异。异常可以使用动态阈值方案在线发现，其中得分高于阈值的时间点被输出为变化。通过计算正常向量和活动向量之间的变化比率来找到负责的顶点，与变化最大的索引所对应的顶点被标记为异常，类似的方法也可以用于节点-节点相关矩阵的活跃向量，或基于邻居相似度的节点-节点相关矩阵。

基于距离的异常检测算法的不同点在于选择用于提取和比较距离度量，以及它们用于确定异常值和相应图的方法。

如果一些边的属性演化异于正常演化，则该边就是一个异常边。

边之间的权重使用衰减函数定义，在每个时间步长中，根据相似度得分的变化之和计算每条边的异常值得分，使用阈值或简单的 作为异常值标准。

将网络视为边的流，意味着网络没有固定的拓扑，一个边的频率和持久性可以用来作为其新颖性的指标，【48】定义了集合系统不一致性指标来度量频率和持久性，当一条边到达时，计算其差异，并与活动边集的平均不一致性值进行比较，如果边的加权不一致性大于平均不一致性的阈值水平，则声明该边为异常边，基于异常边，可以进一步识别其他异常图元素（如顶点，边，子图）。

具有许多“异常”边的子图即是异常的子图。

【52】将边的权重视为异常得分，每个时间步长上的每条边都有它自己的异常分数，给定了该边权值在所有图序列的分布，该分数表示在该特定的边上看到该特定权值的概率函数。或者，为网络中的边分配异常值分数的现有方法的输出可以用作为该方法的输入。后一种方法允许应用于任何能够为边分配异常值分数的网络，一旦完成每条边的异常打分，即可发现显著异常的区域（SARs），即一个窗口内的固定子图，其类似于HDSs。【112】提出了一种迭代算法，该算法首先固定子图发现最优时间窗口，然后固定时间窗口发现最优子图。【97】拓展了该方法，允许子图渐变，即在相邻时间步间增加或移除顶点。

定义函数 为测度图距离的函数，将其应用于连续图序列，即得到距离序列，基于该距离序列应用一些启发式算法（如基于移动平均阈值的 取值）即可得到异常事件。

称每个顶点及其egonet的特征为局部特征，整张图的特征为全局特征。每个顶点的局部特征可聚合为一个向量，基于该向量的各阶矩可构造signature向量，利用signature向量间的Canberra距离（归一化的曼哈顿距离）可构造图之间的距离函数【93】。【92】利用全局特征，定义了一种基于dK-2序列的距离测度，将高于阈值的特征视为异常点。

【96】使用了顶点亲和度（即一个顶点对另一个顶点的影响，可以用于快速信念传播）得分作为signature向量，其基于连续时间步技术顶点亲和度，基于马氏距离度量两个图的相似度，亲和度得分的变化反应并适应变化的影响水平，例如桥边的移除比正常边移除的得分更高。利用单个移动范围的质量控制，可以对相似度得分的时间序列设置一个移动阈值，如指数移动平均加权。

作为特征相似度的补充，我们也可以比较两个图的结构差异来度量突变的大小，这类方法致力于发现定义距离的函数而非发现特征向量。【88】计算了异常网络的10种距离函数，使用ARMA模型构造特征值的正常模型，然后基于正常模型计算时点的残差，残差超过给定阈值的时间即可标记为异常。10种距离函数中，基于最大共有子图的方法表现最好。【90】使用了五中得分函数（顶点/边重叠，顶点排序，向量相似度，序列相似度，signature相似度）来检测三种异常（子图缺失，顶点缺失，连通性变化），表现最好的方案是抽取每个顶点和边的特征构造signature向量，使用SimHash定义距离。

我们还可以通过计算每个图的稳健性序列来检测事件，稳健性序列是图连通性的测度，具有高稳健性的图即使在去除一些顶点或边的情况下，也能保持相同的一般结构和连通性，事件检测即发现稳健性值异常变化的时点【95】。【89】使用的是图半径的变体作为稳健性指标，图半径的定义是基于所有顶点的平均离心度，而非常用的最大离心度。

基于概率理论、分布、扫描统计学等方法可以构造“正常”样本的模型，偏离该模型的样本即视为异常，这类方法的主要区别在于构造方法、建模对象、离群值定义。

主要有两种方法：一，构造扫描统计时间序列并检测离均值若干标准差的点；二，顶点分类。

扫描统计常称为滑动窗口分析，其在数据的特征区域中发现测度统计量的局部最小或最大值。对某个特定图，扫描统计量可以是图不变特征的最大值，如边的数量。

【8】使用了一个适应测度统计量的变量，即每个节点的0-2度邻居数，然后对每个顶点的局部统计量使用近期值的均值和标准差进行标准化，图的扫描统计量即最大的标准化局部统计量。标准化可以解释每个顶点的历史信息，代表每个顶点的统计量只与自己的历史信息有关而与其他顶点无关。这保证测度的最大变化与变化的绝对量无关而与比例有关。基于扫描统计量标准化时间序列，将序列均值的五个标准差作为异常值。最负责的顶点被确定为为整个图的扫描统计值所选择的顶点。

类似于使用邻居进行扫描统计，我们还可以用Markov随机场（MRF）来发现节点的状态，并通过信念传播算法推断最大似然分配，其中，每个顶点标签取决于其邻居节点。【99】通过发现二部核来检测异常点（即诈骗犯），二部核定义为诈骗犯与从犯间的交互。利用边的插入或删除只影响局部子图这一事实，它在添加新边时逐步更新模型。在传播矩阵中，一个顶点可以处于三种状态之一：欺诈者、共犯者或诚实者。

边异常检测通常使用计数过程建模，统计上显著异于该模型的边标记为异常边。

【50】用贝叶斯离散时间计数过程来建模顶点间的通信次数（边权重），并根据新图更新模型。基于学习到的计数的分布，对新观测的边进行预测 值计算，基于 值标记异常顶点对。

首先用固定的子图，多重图，累积图来构造预期行为的模型，对模型的偏离可作为子图异常检测的依据。

【104】结合扫描统计量和隐马尔可夫模型（HMM）建模边行为，其使用的局部扫描统计量是基于两种图形状：k-path图和星型图，其将滑动窗口的扫描统计数据与其过去的值进行比较，并使用在线阈值系统识别局部异常，局部异常是所有统计上显著的子图(代表k个路径或恒星)的并集。

另一个建模动态图的方法是基于多重图，其中平行边对应于两个连续时间步顶点间的通信，初始的多重图可分解为多个针对每个时间窗口的叠套子图（TSG），TSG满足两个条件：（1）对于任何两个有共同点的边，首先开始通信的边最后完成通信；（2）存在一个根顶点r，它没有传入的边，并且有一条到TSG中每个顶点的路径。出现概率低的TSG视为异常子图。【102】

累积图即为包含直到当前时点的所有边的图，边权重依据衰减函数定义，通过识别“持久模式”来定义子图的正常行为。该持久模型识别模型如下：首先构造一种图，该图每个边根据时间来加权，然后基于该图迭代抽取最重连接成分来发现。随着累积图的发展，提取的子图将被监控，并将其当前活动与基于最近行为的预期活动进行比较来进行子图异常检测。【101】

事件检测可以基于偏离图似然模型或特征值分布的偏差来进行。

【103】提出了一种新的蓄水池抽样方法来抽取图流的结构摘要，这种在线抽样方法维持多个网络划分以构造统计上显著的摘要，当一个新图进入图流，每个边都根据不同分区的边生成模型计算出一种似然性，然后以这些似然性的几何均值作为全局图似然性。

【98】使用了类似的边生成模型，每个边 的概率都存储在矩阵 中，概率基于期望最大化估计，基于所有收发对的分布，然后为每个收发对给出潜在得分，基于所有边似然得分的均值即得到每个图的得分。

【100】计算了特征值和压缩特征等式的分布（而非计算收发对的分布），基于每个顶点都存在一个顶点局部特征时间序列的假设，可在每个时间步构造一个顶点-顶点相关矩阵，通过保留最大特征值和一组低维矩阵（每个顶点对应一个矩阵），可对相关矩阵的特征方程进行压缩，通过学习特征值和矩阵的分布，即可发现异常顶点和事件。当特征值偏离期望分布时，即认为发生了事件，当顶点的矩阵偏离矩阵分布时，可认为该顶点为异常顶点。

论文导读 | 动态图上神经网络模型综述

编者按 ：

原文《Foundations and modelling of dynamic networks using Dynamic Graph Neural Networks: A survey》介绍一篇关于动态图上的神经网络模型的综述，本篇综述的主要结构是根据动态图上进行表示学习过程的几个阶段（动态图表示、模型学习、模型预测）进行分别阐述。包括

1. 系统的探讨不同维度下的动态图分类方法以及各种方法下的数据表示格式

2. 针对不同类别的动态图归纳目前图表示学习的主流算法模型（encoding部分）

3. 分别讨论在预测阶段的主要方法，包括decoding, loss function, evaluation metrics等。

01

Dynamic networks

 

动态图的定义可以看作一个节点和边随着时间不断变化的图结构。在动态图的表示中，一个节点包括节点本身以及它生存的起始时间和结束时间，一条边也有端点u，v以及这条边的起始时间和结束时间。

目前关于图表示学习的研究中有很多的工作都聚焦在这种节点和边随时间变化的图结构上，但是在不同的论文中，所用的名词各有不同，比如dynamic networks, temporal networks, evolutionary networks, time-varying networks等等。为了对动态图有一个更加全面，规范的认识，首先探讨对于动态图的分类方法。

A. temporal granularity.

从对于动态性的粒度上来划分，我们可以将动态图划分为四类，static，edge weighted，discrete，continuous，他们的模型复杂程度依次增强，对于动态性的关注也依次增强。

对于static的网络，我们不关注图中的动态性信息，而将其作为一张静态图同等处理。

对于edge weighted networks，我们虽然也关注动态性，但图中的动态信息只是作为一张静态图中的节点或者边的labels而存在。

第三类离散型的动态图，是指以离散的时间片对图进行划分表示，动态图被看作不同时间段之间的多个静态图的集合。

这种表示的优点是能够有效的利用到目前静态图上的方法，分别对每个snapshot进行建模，之后再综合考虑不同snapshot之间的动态性。

第四类，连续型的动态图，它将图的变化看作不断发生的事件，是对动态性保留最多的，但同时也是最复杂的一类。举例来说有以下几种：

The event-based representation:

每个边包含了该事件的起始时间和持续时间。

The contact sequence representation:

是event-based的表示方法的一种特例和简化，当某些事件是瞬时发生的，或者说它们的持续时间不重要，比如邮件发送网络等，此时我们可以省略掉事件的持续时间表示。

The graph stream representation:

在这种表示中将边的产生和消失分别看作不同的事件，用第四位的-1（删除边）和1（插入边）的标志位表示。

B. link duration

 

根据边的持续时间长短可以分为四类：

temporal networks：边有一定的持续时间，但也较短，在任何时刻都非平凡，因此不能直接将静态图的性质运用到此类网络。

evolving networks：边的持续时间比较长，足够能在此时间段内建立一个稳定的网络结构，因此可以将静态图的性质运用到此类图上，并随着网络结构的变化而不断更新。在这类图中，边的产生和消失被看作两种事件。

极端情况：

interaction networks：当边的持续时间为零的情况，也即事件是瞬时的。

strictly evolving networks：严格增长的网络，边的持续时间为正无穷，边一旦插入就会一直存在。

比如邮件网络可以看作interaction network，而引文网络则可以看作一个strictly evolving network，当然，对于这些场景下的网络类别并不是一成不变的，对于不同的应用场景，关注重点不同的情况，也会产生转变。

C. node dynamics

static：当动态图中节点集不变，只是节点之间的连边产生变化时，我们称之为node static的

dynamic: 表示图中的节点也会新增或消失。

Growing：图中的节点只会不断新增（node dynamic的一种特例）

上述的多种维度的分类方法可以任意组合，由此产生多种不同类型的动态图，例如下图所示，node static temporal network或者node nynamic evolving network等等

 

如果把分类的三个维度作为坐标轴的三个维度，我们可以得到下图的一个动态图立方体，在这个立方体的各个角都表示一种不同类别的动态图

02

Dynamic graph neural networks

动态图的模型有多种，比如基于随机游走，基于矩阵分解等等，而本文的分析主要是集中在动态图上的神经网络模型上。

 

A. discrete dynamic graph neural networks

 

其中GNN用来encode每个snapshot，而函数f（可以是RNN或者是self-attention）则用来encode不同snapshots之间的时序关系。

a) stacked dynamic graph neural networks：

通过不同的GNN在不同的snapshot上单独进行空间信息聚合，之后将不同时间片的GNN输出作为时序模块（如RNN）的输入，进行序列建模。

i. GCRN-M1 [Seo et al.] ：

将spectral GCN [Michael et al.] 与peephole LSTM [Felix et al.]相结合。

其中 i, f, o分别为输入门，遗忘门，输出门，而peephole LSTM在标准LSTM基础上加上peephole connection，即将前一时刻长期记忆ct-1也作为遗忘门和输出门控制器的一个输入，当前时刻长期记忆ct也作为输出门控制器的一个输入。此类方法的做法基本与此类似，只是不同的架构选择的GNN或者RNN会有区别，比如用spatial GCN 或者用standard LSTM等等。

ii. WD-GCN

CD-GCN [Manessi et al.]：将GCN [Kipf and Welling] 与LSTM相结合，同时，对于每个节点，会有一个LSTM（虽然这些LSTM之间共享权重），两个模型的区别在于CD-GCN在GCN上加入了skip-connection。

b) Integrated dynamic graph neural networks: 

将GNN和RNN集成到同一层网络层中，因此可以将空间建模和时间建模集成到同一个网络层。

i. GCRN-M2

用graph convolution替换传统的convolution操作。

ii. EvolveGCN

与前面不同的是，EvolveGCN用RNN来更新不同snapshot的GCN的权重参数，而不是用RNN来更新节点表示向量。

该模型提出了两个变种，EGCU-O使用GRU进行GCN权重参数更新，而EGCU-H是用LSTM进行更新。

EGCU-H：

EGCU-O：

 

c) dynamic graph autoencoders and generative models:

i. DynGEM [palash et al.]：

用autoencoder对每个snapshot进行encoding，同时，当前时刻的autoencoder的参数用前一时刻的参数进行初始化，这加速了训练的收敛过程，同时让不同时刻间的embeddings的变化相对稳定。

 

ii. DynGraph2vec [palash et al.]：

在DynGEM的基础上进行改进，不再是只考虑前一个时刻对当前状态的影响，而是考虑前l时刻，也即维护一个滑动窗口。用t, t+1, …,t+l时刻的邻接表来预测t+l+1时刻的邻接表。该工作包括三个变体，dyngraph2vecAE，dyngraph2vecRNN, dyngraph2vecAERNN，它们的区别在于encoder和decoder的选择不同上。

iii. GCN-GAN [Kai et al.] and DyngraphGAN [Yun et al.]：

通过GAN的架构优化embedding的学习过程。Generator用来生成邻接矩阵，而discriminator区分邻接矩阵是产生的还是真实的。在这个过程中generator尽可能的让discriminator无法分辨，而discriminator则不断训练去正确分辨，在这样的min-max博弈过程中，优化中间的embedding表示。

 

B. continuous dynamic graph neural networks：

a) RNN based models：

用RNN来实时的更新节点embedding，一旦某时间发生，即更新所有受影响的节点的embedding。保证节点表示能够得到及时更新且连续。

i. Streaming graph neural networks [Yao et al.]

由两个结构组成，分别是update组件和propagation组件。Update部分负责在某事件发生后更新事件关联的两个节点的表示。而propagation组件负责在变化发生后将网络变化传播到相邻节点（比如新增边的端点的一跳邻居）。

 

ii. JODIE [srijan et al]：

此模型关注于interaction network，用于建模推荐系统中的user-item网络，RNN结构用来分别更新User和item的表示。当一个交易产生，那么分别实时更新User和item，更新方式如下：

b) Temporal point process based models

i. DyRep [Rakshit et al.] : 

将网络的动态性理解为两种动态性：dynamics of the network（即网络拓扑结构的变化）和 dynamics on the network（即网络中节点之间的交互作用）。其中dynamics of the network可以看作网络的association process, 而dynamics on the network则看作网络的communicaiton process。而动态图的节点表示学习则是这样两个过程的中间媒介。Association->embedding->communication, communication->embedding->association，网络拓扑结构的变化，带来embedding的变化，而这种变化引起网络中节点的communication，进一步又会带来与之相关节点embedding的变化，从而因此网络结构的变化这样一个循环过程。

总结来说，这些方法的优势和特定如下表：

03

Prediction of network topology (link prediction)

  Time-predicting: 预测一个事件何时会发生（when），time-conditioned：预测一个事件在t时刻是否会发生。

A. decoders：

一种是通过前s个时刻的embedding预测t时刻，一种是通过上一个时刻预测t时刻，比如kipf and Welling通过将两个节点的embedding的Inner product来预测两点之间是否有边。而DyRep则是通过建模事件发生的条件概率密度的大小来预测事件是否发生，对于一个事件p=(u, v, t, k)， u, v 点之间的条件概率密度大小定义为：

B. loss function

i. 链接预测：将链接预测看作一个二分类问题，loss function通常采用二分类的交叉熵，有时候也会采用负采样的做法。

ii. autoencoder方法：重建邻接矩阵的误差最小化作为训练的损失函数，通常也会加入额外的正则项

iii. temporal point process：DyRep通过建模点过程来优化学习过程，在引入事件发生概率密度基础上，损失函数让有边相连的节点间概率密度最大，而无边相连的最小。

C. evalution metrics

i. area under the curve (AUC)：评价一个二分类模型，且与阈值无关，AUC即为ROC曲线之下的面积，而ROC曲线是true positive rate和false positive rate之间的曲线关系。

ii. PRAUC：指precision recall曲线下的面积，通常用在信息检索领域中类别分布不均衡的场景下。

iii. Fixed-threshold metrics：precision@k=kr/k， 表示在top k的预测中有kr个预测正确。但此评价指标依赖于k的选择，不同阈值会对结果产生影响，因此一般用在有确定分类阈值的任务中，比如推荐系统等。

iv. Mean average precision (MAP)：MAP是average precision（AP）值的平均，计算方式为：

v. Sum of absolute differences (SumD)：衡量了被误分类的链接数，false positive的影响较大，因为有大量的边是未出现的，所以一个微小的False positive升高，都会带来结果的极大变化。

vi. Error rate：根据所有存在的链接数量对SumD做了normalize后的结果。

vii. GMAUC：将动态图链接预测看作两个子问题：1. 预测已经存在的边的消失，或者曾经存在的边再次出现。（AUC）2. 预测那些之前从未存在过的边。（PRAUC）。区分并综合考量了新产生的边和之前曾经存在过的边，而不会因为其中一种类型对结果产生影响。

总结

本文从动态图的分类，不同类别动态图上的模型架构，以及将上述模型用于后续预测任务所需考虑的不同decoder，loss function，evaluation metric等等方面，详细的阐述了动态图神经网络设定下的一系列问题。 对于后续关于动态图方面的表示学习工作有很强的参考意义和启发价值。

更多链接