异常检测——从经典算法到深度学习》14 对于流数据基于 RRCF 的异常检测

Posted 2021-12-23 smile-yan

《异常检测——从经典算法到深度学习》

• 0 概论
• 1 基于隔离森林的异常检测算法
• 2 基于LOF的异常检测算法
• 3 基于One-Class SVM的异常检测算法
• 4 基于高斯概率密度异常检测算法
• 5 Opprentice——异常检测经典算法最终篇
• 6 基于重构概率的 VAE 异常检测
• 7 基于条件VAE异常检测
• 8 Donut: 基于 VAE 的 Web 应用周期性 KPI 无监督异常检测
• 9 异常检测资料汇总（持续更新&抛砖引玉）
• 10 Bagel: 基于条件 VAE 的鲁棒无监督KPI异常检测
• 11 ADS: 针对大量出现的KPI流快速部署异常检测模型
• 12 Buzz: 对复杂 KPI 基于VAE对抗训练的非监督异常检测
• 13 MAD: 基于GANs的时间序列数据多元异常检测
• 14 对于流数据基于 RRCF 的异常检测

相关：

• VAE 模型基本原理简单介绍
• GAN 数学原理简单介绍以及代码实践

14. 对于流数据基于 RRCF 的异常检测

2016 Robust random cut forest based anomaly detection on streams
论文下载以及源码地址 github
论文发表于 ICML会议（International Conference on Machine Learning）CCF A
RRCF 的实现论文 下载地址
翻译部分请前去我的个人博客：smileyan.cn

14.1 简要概述论文内容

14.1.1 核心思想与方法

随机森林(Random Forest, RF) 是一种 bagging 算法，这篇论文提到的 RRCF (Robust Random Cut Forest) 是在 RF 的基础上进行改进的，以达到"健壮"的效果。所以这篇论文的核心思想就是，改进 RF 成为 RRCF ，定义与证明一些 RRCF 的性质，并且实验证明 RRCF 的效果。

所以整篇论文应该包括以下几方面内容：

• 什么是RRCF？
• RRCF 相对于 RF 改进之处在哪，怎么改进的？
• RRCF 是如何应用在流数据（即时间序列数据）的异常检测的。

因为定义比较多，我们也将一个一个地往下看。

14.1.2 RRCF 的生成过程

首先了解一下RF的生成过程，这对于继续了解RRCF很有帮助。

集成方法的目标是将多个基本估计器的预测与给定的学习算法相结合，以提高单个分类器的通用性/鲁棒性。集成方法包括两种：Boosting 和 bagging。随机森林是bagging的典型代表。

随机森林的生成过程是可以并行的，也就是说，

• 每棵树的生成是互不相干的；
• 每棵树生成对应的数据的采样也是互不相关的（有放回地随机采样）
• 每棵树的地位都是相等的，这个与boosting思想差别很大。

接着具体到每个树的生成，这与决策树的构建步骤没什么区别。而决策树的生成过程容易理解，参考找工作过程基本上就明白了，首先工资不能低于多少，分为两类，接着年终不低于多少钱，继续分两类等等。

接下来关注 RRCF 的生成过程，也就是论文中的 定义1：

定义1（Definition 1 ） 对于点集$S$，一棵健壮随机分割树以如下方式生成：

1. 选择一个与 $\frac{{\ell }_i}{{\sum }_j{\ell }_j}$ 成比例的随机维度，其中 ${\ell }_i=ma{x}_{x\in S}{x}_i-mi{n}_{x\in S}{x}_i$。
2. 选一个 $X_i\sim Uniform[mi{n}_{x\in S}{x}_i,ma{x}_{x\in S}{x}_i]$ 也就是从最小到最大的均匀分布。
3. 设 $S_1=x|x\in S,x_i\le X_i$​​​​​ ，$S_2=S{S}_1$​​​​​ 和 基于 $S_1$ 与 $S_2$ 的递归。

与之相关的 定理1

定理 1（Theorem 1）

考虑定义 1 中的算法。让树中节点的权重为相应的维数之和 ${\sum }_i{\ell }_i$。给定两个点 $u,v\in S$，将 $u$ 和 $v$ 之间的树距离定义为 $u,v$ 的最小公共祖先的权重。那么，树的距离最小是曼哈顿距离（Manhattan distance）$L_1(u,v)$ ，最大距离是 $O(d\log \frac{|S|}{L_1(u,v)})\ast L_1(u,v)$。

14.1.3 RRCF 的分割过程

定理 2（Theorem 2）

给定一棵根据 $\mathcal{T}(S)$​ 生成的树，如果我们删除包含孤立点 $x$​ 以及其父节点（相应地调整祖辈点，如 图2 所示），则生成的树 $T^{\prime }$​ 的概率与 $\mathcal{T}(S-x)$​ 中生成的概率相同。 同样，我们可以生成一棵树 $T^{\prime \prime }$​ 就像从 $T(S\cup x)$ ​随机抽取一样，当最大深度为 $T$ 时它的生成时间复杂度为 $O(d)$ ，这通常是 $|T|$ 中次线性 (sublinear) 的。

这个是可以理解的，切割后的剩下的 $c$ 就代表了之前它的整个父节点，自然不会发生概率变化。

接下来的 定理3， 定理4， 定理5 稍微看一下即可，性能方面的一些考量。

14.1.4 定义异常

首先论文举了个例子，某个人戴帽子换颜色的例子，说实话这个例子不怎么好。

定义2

将点 $x$ 的位移（bit-displacement）或移动（displacement）定义为所有其他点的模型复杂度的增加，即，对于集合 $Z$ ，要捕获 $x$ 的外部性（离群性），定义
$$DISP(x,Z)=\sum _{T,y\in Z-x}\mathbb{P}r[T](f(y,Z,T)-f(y,Z-x,T^{\prime }))$$
其中 $T^{\prime }=T(Z-x)$ 。

1The converse is not true, this is a many-to-one mapping.

反过来不成立，这个是多对一映射。

14.1.5 基于流的森林维护

插入(Insertion)： 给定从 $RRCF(S)$ 分布中抽取的样本 $T$ 和点 $p\notin S$，从 $RRCF(S\cup p)$ 分布中抽取得到样本 $T^{\prime }$。

检测(detection): 给定从 $RRCF(S)$ 分布中抽取的样本 $T$ 和点 $p\in S$，从 $RRCF(S\cup p)$ 分布中抽取得到样本 T ′ T' T异常检测——从经典算法到深度学习》14 对于流数据基于 RRCF 的异常检测

《异常检测——从经典算法到深度学习》12 对于复杂 KPI 基于VAE对抗训练的非监督异常检测

《异常检测——从经典算法到深度学习》12 对于复杂 KPI 基于VAE对抗训练的非监督异常检测

《异常检测——从经典算法到深度学习》13 MAD: 基于GANs的时间序列数据多元异常检测

《异常检测——从经典算法到深度学习》13 MAD: 基于GANs的时间序列数据多元异常检测

《异常检测——从经典算法到深度学习》16 基于VAE和LOF的无监督KPI异常检测算法