关于如何使用机器学习来做异常检测的7个问题

Posted 2020-12-18 yyuyu

　　关于如何使用机器学习来做异常检测的7个问题

　　导读

　　异常检测的一些入门问题。

　　关于如何使用机器学习来做异常检测的7个问题

　　问问题是学习的好方法之一。但有时你不知道从哪里开始，或者该问什么 —— 尤其是在你还比较熟悉的异常检测之类的话题上。在这种情况下，最好倾听别人的问题，让他们的思路来指导你的学习。以下是我们在“[Ask Me Anything: Anomaly Detection](https://www.tibco.com/events/ask-me- anything-webinar-anomaly-detecing-machine -learning)”网络研讨会上收到的一些问题，可以帮助你入门。

　　离群点和异常值的区别是什么?

　　离群值是远离分布的位置或者平均值的观测值。然而，它们并不一定代表异常行为或由不同过程产生的行为。另一方面，异常是由不同的过程生成的数据模式。

　　异常检测在药品中有什么应用吗?

　　异常检测在药物生命科学领域有许多应用。包括在制药生产中使用统计过程控制(SPC)或质量控制(QC)和多元过程控制(MSPC)图表进行过程监控和质量控制。及时发现异常是避免异常事件发生，遵守安全标准的关键。发现柜台交易中的异常情况，可以用来打击医药零售数据中的处方滥用。实时检测多参数临床试验数据中的异常，有助于保证临床试验的成功。

　　GANs也用于异常检测吗?如果是的话，能否提供一个行业用例

　　生成对抗网络(GANs)是一种新的无监督学习方法，在识别异常方面非常有效。由于GANs是设计成迭代的，并且对抗性训练的目的是利用重构样本来优化减少残差损失，因此它们在半结构化和非结构化数据中工作得很好。它们在医学图像分析(帮助放射学家发现难以识别的肿瘤)、面部识别、文本图像转换等方面非常有用。

　　数据相关性会影响异常检测吗?我们可以用什么方法，怎样减少这些影响?是否最好在开始异常检测之前清除和删除关联数据?

　　正如在网络研讨会上提到的，我们不认为相关性会影响异常检测，但我们有许多可用的技术来帮助确定如何处理相关变量。一个建议是使用主成分分析(PCA)这样的技术来减少维数。

　　建议使用什么样的算法适合于检测与识别网络活动或数据中的不寻常活动有关的异常?

　　正如在网络研讨会上提到的，有许多方法和算法可以很好地用于异常检测的各种应用和用例。其中有递归神经网络(RNN)、生成对抗网络(GAN)、隔离森林、深度自编码器等。如果你对网络/图分析特别感兴趣，用来识别网络图异常的两种主要方法是直接邻居离群点检测算法(DNODA)和社区邻居算法(CNA)。

　　在我目前的工作中，“新颖性”是我们努力去发现的主要东西。质量控制图对于已知的模式很有效，但是自动识别新模式比较困难。我希望能得到一些在这方面有所帮助的工具的想法。

　　对于单变量质量控制图，西方的电气规则可以用于检测少数常见的模式。经典的多元方法，如偏最小二乘(PLS)，会捕获到涉及不止一个变量的模式，但不能被单变量方法检测。自动编码器是最全面的工具，将涵盖最广泛的不同模式。它可以捕获多变量、循环、非线性和交互的模式。你使用一组正常数据训练autoencoder，在训练集中没有出现的新数据中出现的任何模式都将被标记。

　　通过做PCA来减少维度会影响数据集中的异常吗?它会导致异常现象的消失吗?如果是这样，如何预防呢?

　　做PCA将会在原始数据集中捕获一些百分比的方差。因此，我们使用PCA进行异常检测的方法是计算原始点到低维空间中表示的点的“距离”。距离越大(即在将观测结果映射到低维空间时“丢失”的越多)，我们就越认为它是一种异常。