使用python进行高维异常值检测[关闭]

Posted

技术标签:

【中文标题】使用python进行高维异常值检测[关闭]【英文标题】:high dimensional outlier detection using python [closed] 【发布时间】:2017-12-19 10:33:04 【问题描述】:

有人可以指出一个强大的 Python 实现算法,如 Robust-PCA 或基于角度的异常值检测 (ABOD) 吗?我尝试了几个 Robust-PCA 的 python 实现,但结果证明它们非常占用内存,程序崩溃了。我的数据集是 60,000 X 900 浮点数。 R 有 ABOD 的实现,但我想坚持使用 python。

【问题讨论】:

【参考方案1】:

异常值检测非常重要,有很多研究出版物都在处理它。 基于密度的算法的可扩展性并不是真正的高性能。 我使用 PCA 进行降维,并使用局部异常值因子法。

您可以在以下位置找到适用于海量数据的良好实施版本: https://github.com/damjankuznar/pylof/blob/master/lof.py

HTH

【讨论】:

另外值得一提的是,这个实现的是scikit learn的当前版本:scikit-learn.org/stable/modules/outlier_detection.html

以上是关于使用python进行高维异常值检测[关闭]的主要内容,如果未能解决你的问题,请参考以下文章

Python数据分析基础: 异常值检测和处理

是否可以在 ML.Net 中进行多元无监督异常(异常值)检测?

Novelty and Outlier Detection(奇异值和异常值检测)

检测和删除异常值作为管道的步骤

Elastic:使用 Elastic Stack 进行异常值检测 - airbnb 数据分析

R语言基于可视化进行多变量离群(Mulltivariate outliers)点检测识别:散点图可视化多变量离群点模型平滑多变量异常检测使用平行坐标图查看钻石数据集中的异常值