监督学习分类

Posted 2023-03-12

【中文标题】监督学习分类

【英文标题】：Supervised learning classification

【发布时间】：2019-06-04 07:13:15

【问题描述】：

我知道 k-NN 是一种分类方案，对于您要分类的每个点，取 k 个最近的邻居，然后使用一些距离，并使用多数票对该点进行分类。

是否有类似的回归算法，其中只有一个类，A 类。您有一个包含 A 类中特征空间中的一些（不是全部）点的数据集。要计算特征空间中新点的概率在A类，你看A类那个点距离k内的密度？

【问题讨论】：

您是否尝试进行异常检测？如果是这样，请查看一类 SVM；我应该可以帮助你。

我对你的问题有点困惑，因为在 KNN 中不仅有一个类，而且还有更多类。正如您根据距离描述的那样，它会在可用类中选择 BEST 候选者。我也同意@Alexis 关于 SVM 的观点，因为它与回归非常相似，只是使用磁带而不是线。但是，如果您能提供有关您的确切问题的更多信息，那么要获得准确的答案，那就太好了。

【参考方案1】：

我想你要的是probability density estimation。您想使用对 A 类中点的观察来凭经验构建概率密度函数，然后使用该 PDF 来预测新点在 A 类中的概率。

有很多方法可以实现这一点，最简单的可能是将数据建模为高斯或mixture of Gaussians。在单个高斯模型的情况下，您可以只计算数据集的均值和方差来参数化高斯模型。这假设高斯模型非常适合您的数据集，如果不是，则有more sophisticated methods，例如制作直方图或使用不同的分布。

但是，如果您只对分类某个点是否属于某个类感兴趣，那么估计密度可能有点过头了。您可以使用众多分类算法中的任何一种（随机森林、SVM、逻辑回归、神经网络等），这些算法不会告诉您有关数据的基本分布的任何信息，而只会给您一个分类器。