K-近邻

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了K-近邻相关的知识,希望对你有一定的参考价值。

概述

  KNN算法本身简单有效,是一种lazy-learning算法;

  分类器不需要使用训练集进行训练,训练时间复杂度为0;

  KNN分类的计算复杂度和训练集中的文档数目成正比,也就是说,如果训练集中文档总数为n,那么KNN的分类时间复杂度为O(n)。

  技术分享

  如果K = 3,绿色圆点的最近的3个邻居是2个红色小三角形和1个蓝色小正方形,少数从属于多数,基于统计的方法,判定绿色的这个待分类点属于红色的三角形一类。

  如果K = 5,绿色圆点的最近的5个邻居是2个红色三角形和3个蓝色的正方形,还是少数从属于多数,基于统计的方法,判定绿色的这个待分类点属于蓝色的正方形一类。

对于未知类别属性数据集中的点

  1.计算已知类别数据集中的点与当前点的距离

  2.按照距离一次排序

  3.选取与当前点距离最小的K个点

  4.确定前K个点所在类别的出现概率

  5.返回前K个点出现频率最高的类别作为当前点预测分类

三个基本要素  

  K值的选择,距离度量和分类决策规则

KNN在分类是主要的不足

  当样本不平衡时,如一个类的样本容量很大,而其他类样本容量很小时,有可能导致当输入一个新样本时,该样本的K个邻居中大容量类的样本占多数。不同的样本要给予不同权重项。

超参数

  L1(Manhattan)distance

    技术分享

  L2(Euclidean)distance

    技术分享

交叉验证

技术分享

K-近邻注意事项

  1、选取超参数的正确方法是:将原始训练集分为训练集和验证集,我们在验证集上尝试不同的超参数,最后保留表现最好那个;

  2、如果训练数据量不够,使用交叉验证方法,它能帮助我们在选取最有超参数的时候减少噪音;

  3、一旦找到最优的超参数,就让算法以该参数在测试集跑且只跑一次,并根据测试结果评价算法;

  4、最近邻分类器能够在CIFAR-10上得到将近40%的准确率。该算法简单易实现,但需要存储所有训练数据,并且在测试的时候过于耗费计算能力;

  5、仅仅使用L1和L2范数来进行像素比较是不够的,图像更多的是按照背景和颜色被分类,而不是语义主题分类;

  6、对数据进行预处理,对数据中的特征进行归一化(normalize),让其具有零平均值(zero mean)和单位方差(unit variance);

  7、如果数据是高维数据,考虑使用降维方法,比如PCA;

  8、将数据随机分入训练集和验证集。按照一般规律,70%-90%数据作为训练集;

  9、在验证集上调优,尝试足够多的k值,尝试L1和L2两种范数计算方式。

以上是关于K-近邻的主要内容,如果未能解决你的问题,请参考以下文章

K近邻算法小结

K-近邻算法(K-NN)

机器学习K-近邻算法

实验二 K-近邻算法及应用

实验二 K-近邻算法及应用

K近邻算法的理论基础