如何检测和删除rapidminer中的噪音？

Posted 2023-03-12

【中文标题】如何检测和删除rapidminer中的噪音？

【英文标题】：How to detect and delete noise in rapidminer?

【发布时间】：2014-10-24 09:10:44

【问题描述】：

我是 Rapid Miner 5 的新手，只想知道如何在我的数据中发现噪音并在图表中显示它们以及如何删除它们？

【问题讨论】：

您也可以在stats.stackexchange.com 上发帖，以获得一些关于降噪（异常值检测？）的建议，无论您将使用何种技术。换句话说，我认为您的问题是两个不同的问题：一个是关于原则的，另一个是关于技术的。

【参考方案1】：

一个复杂的问题，因为它取决于您所说的噪音是什么意思。

如果您的意思是查找值明显错误的单个属性，那么您可以绘制直方图视图并计算出构成有效值的某种限制。然后，您可以通过使用 Filter Examples 来删除它们来强制执行该规则。

如果您的意思是查找应用了某种随机抖动的属性，则很难检测到这些属性。只有事先知道分布的预期形状是什么，你才能与观察进行比较并做一些事情。但是，要采取的行动绝不是显而易见的。

如果您的意思是在示例集中查找与其他示例明显不同的示例，那么您可以考虑使用各种异常值函数。最简单的入门方法是Detect Outlier (Distances)。这会根据使用所有属性作为示例的距离计算找到一组异常值（默认为 10）。它创建了一个名为outlier 的新属性，该属性设置为true 或false。然后，您可以使用 Filter Examples 运算符删除那些设置为 true 的。

希望至少作为一个开始会有所帮助。