概率如何在 kNN 算法中发挥作用？

Posted 2023-03-12

【中文标题】概率如何在 kNN 算法中发挥作用？

【英文标题】：How does probability come in to play in a kNN algorithm?

【发布时间】：2020-05-09 07:37:39

【问题描述】：

kNN 似乎比较容易理解：您有数据点，然后在特征空间中绘制它们（在维度 2 的特征空间中，与在 xy 平面图上绘制点相同）。当你想对一个新数据进行分类时，你把新数据放到同一个特征空间，找到最近的 k 个邻居，看看他们的标签是什么，最终选择得票最高的标签。

那么概率在哪里发挥作用呢？我所做的一切都是为了计算两点之间的距离并获取最近邻居的标签。

【参考方案1】：

对于一个新的测试样本，您可以查看 K 个最近邻并查看它们的标签。 您计算每个类中有多少 K 个样本，然后将计数除以类数。

例如 - 假设您的分类器中有 2 个类，并且您使用 K=3 个最近邻，这 3 个最近样本的标签是 (0,1,1) - 0 类的概率是 1/ 3，第 1 类的概率是 2/3。

【讨论】：

这如何应用于多标签分类？

多标签还是多类？

多类意味着你有几个类（超过2个）。多标签意味着您有几个标签，每个标签可以有 2 个或更多类（例如预测客户的年龄和性别）。

我的意思是多标签。后验概率如何用于多标签？

您可以对每个标签执行相同的操作...取 K 个最接近的样本，检查它们的标签并计算这些邻居的概率