机器学习笔记——K近邻法

Posted 2022-12-04 Lyndon_zheng

K-nearest neighbor（KNN）

$k$近邻法一种基本的分类与回归方法，原理和实现都比较直观。其输入为样本的特征向量，输出为样本的类别，可以进行多类别分类。k近邻法是通过统计与未知样本最近点的训练样本的类别来投票决定未知样本的类别，不具有显式的学习过程。$k$近邻法主要包含有$k$值选择，距离度量以及分类决策规则三部分。

1.$k$近邻模型

距离度量

特征空间中两个样本的距离是两个样本的相似程度的反映。在$k$ 近邻法中常用的距离度量包括：
（1）Minkowski Distacne(闵可夫斯基距离)
定义两个变量$x_i,x_j\\in \\chi,x_i=(x_i^1,x_i^2,\\ldots,x_i^n)$,$x_j=(x_j^1,x_j^2,\\ldots,x_j^n)$,则他们之间的闵可夫斯基距离为：

$$L_p(x_i,x_j)=(\\sum_l=1^n(x_i^l-x_j^l))^\\frac1p$$
当 $p$=1时，称为曼哈顿距离（Manhattan distance）
$$L_1(x_i,x_j)=\\sum_l=1^n|x_i^l-x_j^l|$$
当 $p$=2时，是常用的欧式距离（Euclidean distance）
$$L_2(x_i,x_j)=\\sqrt\\sum_l=1^n|x_i^l-x_j^l|^2$$
当 $p=\\infty$ 时，是常用的切比雪夫距离（chebyshev distance）
$$L_\\infty(x_i,x_j)=\\max_l|x_i^n-x_j^n|$$
上述距离在不同特征中存在一定的缺点，比如特征维度中不同的单位，如果用绝对值会导致比重不一，因此不同的特征都需要归一化，即统一为相对值。
（2）马氏距离（Mahalanobis distance）
定义两个变量 $x_i,x_j\\in \\chi,x_i=(x_i^1,x_i^2,\\ldots,x_i^n)$, xj=(x1j机器学习入门之K近邻法

机器学习入门之K近邻法

统计学习方法 （第3章）K近邻法 学习笔记

K近邻法机器学习

Python3《机器学习实战》学习笔记

《机器学习实战》读书笔记2：K-近邻(kNN)算法