KD树是什么？ 为什么要用KD树？ KD树怎么用？ KD树和KNN的关联是什么？

Posted 2021-05-18 Data+Science+Insight

KD树是什么？

为什么要用KD树？

KD树怎么用？

KD树和KNN的关联是什么？

 

sklearn中如何配置？

 

为了提高KNN的搜索效率，这里介绍一种可以减少计算距离次数的方法———KD树方法。

KD树（k-dimensional树的简称），是一种对k维空间中的实例点进行存储以便对其进行快速搜索的二叉树结构。利用kd树可以省去对大部分数据点的搜索，从而减少搜索的计算量。

在之前关于knn算法的文章里曾提到，对特征空间进行划分的方法为计算新的输入实例与训练实例之间的距离，因为在特征空间中2个特征实例的相似程度可以用距离来表示。一般我们采用的是欧式距离，也就是说每个新的输入实例都需要与所有的训练实例计算一次距离并排序。当训练集非常大的时候，计算就非常耗时、耗内存，导致算法的效率降低。

 

为了提高KNN的搜索效率，这里介绍一种可以减少计算距离次数的方法———KD树方法。