单变量时间序列的异常检测研究进展

Posted 2023-02-22 axin-

ANOMALY DETECTION IN UNIVARIATE TIME-SERIES: A SURVEY ON THE STATE-OF-THE-ART

 

• 异常：偏离整个数据集的正态分布的数据点

异常和离群值

• 一方面，异常值和离群值等价；（本文认为两者是可交换的）
• 另一方面，有一些定义将异常值视为一个更广泛的概念，除了异常还包括噪声；
• 其他人认为离群值是数据中的损坏，而异常是不规则的点，但有特定的模式

异常的类型

1. 点异常：如果一个点与其他数据明显偏离，则被认为是点异常
2. 集体异常：有个别点没有异常，但一系列点被标记为异常的情况
3. 上下文异常：某些点在特定的上下文中可以是正常的，而在另一个上下文中则被检测为异常

时序模式

1. 趋势：时间序列的平均值不是恒定的，随着时间的推移而增加或减少
2. 季节性
3. 周期
4. 水平：时间序列水平等于该序列的平均值
5. 平稳性
   • 均值恒定，时间序列不存在趋势性。
   • 时间序列具有恒定的方差。
   • 随着时间的推移，存在一个恒定的自相关。
   • 时间序列不具有季节性，即不存在周期性波动。
6. 噪声

 

选择异常检测方法考虑的数据因素

1. 时态与非时态数据：非时态数据可以是医学图像、蛋白质序列等，时态数据既包括时间序列，也包括具有不等间隔时间戳的数据。
2. 单变量与多变量数据
3. 已标记或未标记数据
4. 数据集中的异常类型：
   点异常通过稀有分类的方法进行检测。为了检测集体异常，这些方法关注数据中的异常形状，同时搜索偏差。这有助于发现上下文异常。

• 有监督
  时间序列数据集被标记，对于每个时间戳都知道它是否是异常，并且数据集包含正常和异常时间戳
• 半监督
  数据集只由正常点组成且不存在异常
  训练一个模型拟合时间序列的分布，将任何偏离该分布的新点检测为异常。
  常用方法：One-Class SVN、自动编码器、GAN
• 无监督
  时间序列数据是无标记的

1. 统计方法
2. 经典机器学习方法
3. 使用神经网络的方法(深度学习)

 

时间序列的异常检测方法分为两大类：

1. 预测时间序列
2. 检测时间序列的异常形状

涉及的方法技术：

• 似然比检验(LRT)
• 多层感知器(MLP)
• 卷积神经网络(CNNS)
• 长短期记忆(LSTMS)
• 随机过程是一族时间指标随机变量Z(ω，t)，其中ω属于样本空间，t属于指标集

统计方法、机器学习方法、深度学习方法

• nihau