K近邻法机器学习

Posted shengwang

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了K近邻法机器学习相关的知识,希望对你有一定的参考价值。

K近邻模型的3个要素

1.距离度量(如欧式距离)
2.k值的选择
3.分类决策规则(如多数表决)

线性搜索时间复杂度较高,因而引入了KD树这一数据结构,加快搜索。

构造KD树

搜索KD树


如果实例点是随是随机分布的,kd树搜索复杂度是O(logN),这里N是训练实例数,kd树更适合于训练实例数远大于空间维数时的k近邻搜索。
当空间维数接近训练实例数时,它的效率会迅速下降,几乎接近线性扫描




以上是关于K近邻法机器学习的主要内容,如果未能解决你的问题,请参考以下文章

机器学习入门之K近邻法

机器学习笔记三 K近邻法

K近邻法机器学习

机器学习经典算法具体解释及Python实现--K近邻(KNN)算法

机器学习k近邻算法kd树实现优化查询

Python3《机器学习实战》学习笔记