K-Nearest Neighbors Algorithm

Posted Skye_Zhao

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了K-Nearest Neighbors Algorithm相关的知识,希望对你有一定的参考价值。

K近邻算法。

KNN算法非常简单,非常有效。

KNN的模型表示是整个训练数据集。

对一个新的数据点进行了预测,通过对K个最类似的实例(邻居)的整个训练集进行搜索,并对这些K实例的输出变量进行汇总。对于回归问题,这可能是平均输出变量,用于分类问题,这可能是模式(或最常见的)类值。

诀窍在于如何确定数据实例之间的相似性。如果你的属性都是相同的比例(例如英寸),最简单的方法就是使用Euclidean距离,你可以根据每个输入变量之间的差异直接计算一个数字。

KNN可能需要大量的内存或空间来存储所有数据,但只在需要时执行计算(或学习),及时进行预测。你也可以更新和管理你的训练实例,以保持预测的准确性。

距离或接近的概念可以在非常高的维度(大量的输入变量)中分解,这会对算法在你的问题上的性能产生负面影响。这被称为维度的诅咒。它建议您只使用与预测输出变量最相关的输入变量。

以上是关于K-Nearest Neighbors Algorithm的主要内容,如果未能解决你的问题,请参考以下文章

k-Nearest Neighbors algorithm

k-Nearest Neighbors(KNN) k近邻算法

OpenCV学习4-----K-Nearest Neighbors(KNN)demo

数据标准化后如何使用 K-Nearest Neighbors (KNN) 模型进行预测 (Python)

机器学习算法:基于horse-colic数据的KNN近邻(k-nearest neighbors)预测分类

如何使用 Scipy 的 Kd-tree 函数来加速 K-Nearest Neighbors (KNN) [关闭]