K近邻算法简单介绍——机器学习

Posted 2021-09-10 神的孩子都在歌唱

K近邻算法

• • 一. 简介
  • 二. KNN算法API使用
  • • • 2.1 导入Scikit-learn工具
      • 2.2 k-近邻算法API案例

悄悄介绍自己：

作者：神的孩子在跳舞
本人是快升大四的小白，在山西上学，学习的是python方面的知识，希望能找到一个适合自己的实习公司，哪位大佬看上我的可以留下联系方式我去找您，或者加我微信chenyunzhiLBP

一. 简介

1. 简单理解：以你为起点找到最接近你的那个点
2. 定义：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
3. 常用公式：

以下公式是我个人方便理解写的，具体方法自行百度
（1） 欧式距离(Euclidean Distance)：平面内，已知两点求直线距离
（2）曼哈顿距离(Manhattan Distance)：平面内，已知两点求垂直距离
（3）切比雪夫距离 (Chebyshev Distance)：方格中，直行、横行、斜行
（4）闵可夫斯基距离(Minkowski Distance)
（5）标准化欧氏距离 (Standardized EuclideanDistance)：将各个分量都“标准化”到均值、方差相等
（6）余弦距离 (Cosine Distance)

二. KNN算法API使用

2.1 导入Scikit-learn工具

1. 安装scikit-learn需要Numpy, Scipy等库

pip3 install scikit-learn==0.19.1
import sklearn

2. 包含内容
   (1)分类、聚类、回归
   (2)特征工程
   (3)模型选择、调优

2.2 k-近邻算法API案例

API介绍

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')

1. n_neighbors：int类型（默认= 5），n_neighbors查询默认使用的邻居数

我们一般将n_neighbors叫做k值，K值过小：​ 容易受到异常点的影响，k值过大：​ 受到样本均衡的问题

2. algorithm：{‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}

快速k近邻搜索算法，默认参数为auto，可以理解为算法自己决定合适的搜索算法。除此之外，用户也可以自己指定搜索算法ball_tree、kd_tree、brute方法进行搜索，

（1）brute:是蛮力搜索，也就是线性扫描，当训练集很大时，计算非常耗时。比如问是1吗？不是，是0么？是，一个个问
（2）kd_tree：构造kd树存储数据以便对其进行快速检索的树形数据结构，kd树也就是数据结构中的二叉树。以中值切分构造的树，每个结点是一个超矩形，在维数小于20时效率高。
（3）ball_tree：特征值大于20，就用ball_tree

3. 实现流程

(1）计算已知类别数据集中的点与当前点之间的距离
(2）按距离递增次序排序
(3）选取与当前点距离最小的k个点
(4）统计前k个点所在的类别出现的频率
(5）返回前k个点出现频率最高的类别作为当前点的预测分类

4. 代码演示

#导入模块
from sklearn.neighbors import KNeighborsClassifier
import matplotlib.pyplot as plt

#获取数据
x = [[0], [1], [2], [3]]
y = [0, 0, 1, 1]
#机器学习——模型训练
# 实例化API
estimator = KNeighborsClassifier(n_neighbors=2)
print(estimator)
# 使用fit方法进行训练
estimator.fit(x, y)
print(estimator.fit(x, y))
estimator.predict([[2]])

输出

KNeighborsClassifier(n_neighbors=2)
KNeighborsClassifier(n_neighbors=2)
array([0])

本人博客：https://blog.csdn.net/weixin_46654114
本人b站求关注：https://space.bilibili.com/391105864
转载说明：跟我说明，务必注明来源，附带本人博客连接。

请给我点个赞鼓励我吧