机器学习笔记三 K近邻法
Posted 猛男Banana君
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习笔记三 K近邻法相关的知识,希望对你有一定的参考价值。
一、k近邻算法
定义:K近邻算法是一种基本分类与回归方法。
思想:物以类聚、人以群分。
实现步骤:假设给定一个训练数据集(带标签的),根据其k个最近邻的训练实例的类别,通过多数表决等方式进行预测。
k近邻法实际上利用训练数据集对特征向量空间进行划分,并作为分类模型。
三个基本要素:k值的选择、距离度量、分类决策规则
k近邻算法的k:所选取的与实例x最邻近的点的个数
二、k近邻模型
1)距离度量
特征空间中两个实例点的距离是两个实例点相似程度的反映。
这里提到两种距离:欧氏距离、曼哈顿距离(街区距离)
2)k值的选择
k值的选择会对k近邻法的结果产生重大影响。
这句话仍有待理解。
三、k近邻法的实现:kd树(快速搜索k个最近邻点)
kd树是一种快速检索的数据结构,是二叉树,可以省去大部分数据点的搜索,减少搜索的计算量。
K近邻法的优缺点:
数值型数据可以理解为连续型数据。
K近邻应用于回归问题:可以根据新实例附近K个样本的特征值的均值(或众数、中位数)作为其预测值。
以上是关于机器学习笔记三 K近邻法的主要内容,如果未能解决你的问题,请参考以下文章