K-近邻算法
Posted luowei93
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了K-近邻算法相关的知识,希望对你有一定的参考价值。
K-近邻算法 ?? KNeighborsClassifier
原理 :
如果一个样本在 特征空间中的 k个值 (即特征空间中邻近)的 样本中的 大多数 属于某一个类别 , 则该样本也属于这个类别。也理解为:离谁最近,与谁一样。找K个最近的点 , 看这k个点中 , 类别最多的那个类别。
特别需要注意的是 : 运行k-近邻算法之前,必须做标准化处理!!!
K-近邻算法步骤 :
我们可以从 最近邻算法 , 来推演 k近邻算法, 其步骤是 :
- 计算已知类别数据集中的点与当前点之间的距离
- 按照距离递增次序排序
- 选取与当前距离最小的k个点
- 确定前k个点所在类别的出现频率
- 返回前k个点所在频率最高的类别作为当前点的预测分类
由此可知 , k近邻算法其实本质上并不是以最近的点为分类, 而是以最近的k个点的分类出现的概率最高为分类, 这点跟我们在spss逻辑回归中的思路是一致的。
k-近邻算法特点:
- 优点
-
- 简单好用, 容易理解, 精度高, 理论成熟, 既可以用来做分类也可以用来做回归; 可用于数值型数据和离散型数据; 训练时间复制为O(n); 无数据输入假定; 对异常值不敏感。
-
- 缺点
-
- 计算复杂性高; 空间复杂性高; 样本不平衡问题(即有些类别的样本数量很多, 而其他样本的数量很少); 一般数值很大的时候不用这个, 计算量太大。 但是单个样本数不能太少, 否则容易发生误分。 最大的缺点是无法给出数据的内在含义。
-
k-近邻算法API:
# 导入及参数 from sklearn.neighbors.KNeighborsClassifier( n_neighbors=5, # int, 可选参数(默认为 5) weights=‘uniform‘, # 参数有‘uniform’和‘distance’,可以选择调试。 algorithm=‘auto‘, #算法 {‘auto’, ‘ball_tree’, ‘kd_tree’, ‘brute’}, 可选参数(默认为 ‘auto‘) leaf_size=30, #叶子数量 int, 可选参数(默认为 30) p=2, # integer, 可选参数(默认为 2) metric=‘minkowski‘, #矩阵 string or callable, 默认为 ‘minkowski’ metric_params=None, #矩阵参数 dict, 可选参数(默认为 None) n_jobs=None, #int, 可选参数(默认为 1) 用于搜索邻居的,可并行运行的任务数量。如果为-1, 任务数量设置为CPU核的数量。 **kwargs, #
)
案例( 项目说明) :
海伦女士一直使用在线约会网站寻找适合自己的约会对象。尽管约会网站会推荐不同的任选,但她 并不是喜欢每一个人。
经过一番总结,她发现自己交往过的人可以进行如下分类:不喜欢的人;魅力一 般的人;极具魅力的人。
海伦收集约会数据已经有了一段时间,每个样本数据占据一行,总共有1000行。
海伦收集的样本数据主要包含以下3种特征:每年获得的飞行常客里程数;玩视频游戏所消耗时间 百分比;每周消费的冰淇淋公升数。
请通过这些数据进行机器学习,用来预测海伦对下一个约会对象的感觉。
1 from sklearn.neighbors import KNeighborsClassifier 2 from sklearn.model_selection import train_test_split 3 from sklearn.preprocessing import MinMaxScaler 4 # 读取数据 5 import pandas as pd import numpy as np 6 data = np.loadtxt(‘datingTestSet.txt‘, dtype=np.object, delimiter=‘ ‘, encoding=‘gbk‘) df = pd.DataFrame(data) 7 # 获取特征值 8 x = df.iloc[:,:3] 9 # 获取目标值 10 y = df[3] 11 # 特征工程 12 # 归一化 13 scaler = MinMaxScaler() 14 x = scaler.fit_transform(x) 15 # 分割数据集 16 train_x, test_x, train_y, test_y = train_test_split(x, y, test_size=0.25) 17 # knn 18 kn = KNeighborsClassifier(n_neighbors=30) 19 # 选择500个邻居 20 kn.fit(train_x, train_y) 21 # 得出预测结果 22 predict = kn.predict(test_x) 23 print(‘预测结果为:‘, predict) 24 # 得出准确率 25 print(‘------------ >测试集正确率: {0} ‘.format(round(kn.score(test_x,test_y),3))) 26 print(‘------------ >训练集正确率: {0} ‘.format(round(kn.score(train_x,train_y),3))) 27 print(‘------------ >全集正确率:{0} ‘.format(round(kn.score(x,y),3))) 28 # 模型的保存 29 from sklearn.externals import joblib 30 joblib.dump(kn, ‘kn.m‘) 31 32 #---------分界线-------------# 33 # 调用保存好的模型 34 from sklearn.externals import joblib 35 kn_new = joblib.load(‘kn.m‘) 36 # 预测样本归一化 37 scaler = MinMaxScaler() 38 s = ([12,44000,0.5],[0.1,200,0.8],[68,32000,0.3]) 39 s = scaler.fit_transform(s) 40 kn_new.fit(s)
为什么要对预测样本做归一化?
预测样本数据没有归一化会导致分类成为同一类别,由于维度太大,如果不采用归一化处理的话,各个点的距离值将非常大,故模型对于待测点的预测结果值都判为同一个。
K-近邻算法 总结 :
- k值的取值问题
-
- K值取多大?有什么影响?
- k值取很小:容易受异常的影响
- k值取很大:容易受到k值数量(类别)波动
- K值取多大?有什么影响?
-
- 性能问题
-
- 如果样本越来越大, 算法时间、空间复杂度都会越来越大
-
- 优点
-
- 简单, 易于理解, 易于实现, 无需估计参数, 无需训练
-
- 缺点
-
- 懒惰算法, 对测试样本分类时的计算量大, 内存开销大, 必须指定k值, k值选择不当则分类精确度不能保证
-
- 使用场景
-
- 小数据场景,几千~几万样本, 具体场景 具体业务去测。
-
以上是关于K-近邻算法的主要内容,如果未能解决你的问题,请参考以下文章