机器学习笔记三 K近邻法

Posted 猛男Banana君

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习笔记三 K近邻法相关的知识,希望对你有一定的参考价值。

一、k近邻算法

定义:K近邻算法是一种基本分类与回归方法。

思想:物以类聚、人以群分。

实现步骤:假设给定一个训练数据集(带标签的),根据其k个最近邻的训练实例的类别,通过多数表决等方式进行预测。

k近邻法实际上利用训练数据集对特征向量空间进行划分,并作为分类模型。

三个基本要素:k值的选择、距离度量、分类决策规则

k近邻算法的k:所选取的与实例x最邻近的点的个数
在这里插入图片描述

二、k近邻模型

1)距离度量
特征空间中两个实例点的距离是两个实例点相似程度的反映。

这里提到两种距离:欧氏距离、曼哈顿距离(街区距离)
在这里插入图片描述

2)k值的选择
k值的选择会对k近邻法的结果产生重大影响。
在这里插入图片描述
在这里插入图片描述
这句话仍有待理解。
在这里插入图片描述

三、k近邻法的实现:kd树(快速搜索k个最近邻点)

kd树是一种快速检索的数据结构,是二叉树,可以省去大部分数据点的搜索,减少搜索的计算量。

K近邻法的优缺点:
在这里插入图片描述
数值型数据可以理解为连续型数据。
在这里插入图片描述
K近邻应用于回归问题:可以根据新实例附近K个样本的特征值的均值(或众数、中位数)作为其预测值。

以上是关于机器学习笔记三 K近邻法的主要内容,如果未能解决你的问题,请参考以下文章

Python3《机器学习实战》学习笔记

统计学习方法 (第3章)K近邻法 学习笔记

《机器学习实战》学习笔记——k近邻算法

机器学习2—K近邻算法学习笔记

《机器学习实战》读书笔记2:K-近邻(kNN)算法

机器学习实战笔记--k近邻算法