机器学习实战笔记-K近邻算法1(分类动作片与爱情片)
Posted kevincong
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习实战笔记-K近邻算法1(分类动作片与爱情片)相关的知识,希望对你有一定的参考价值。
K近邻算法采用测量不同特征值之间的距离方法进行分类
K近邻算法特点:
优点:精度高、对异常值不敏感、无数据输入假定。
缺点:计算复杂度高、空间复杂度高。
适用数据范围:数值型和标称型。
K近邻算法原理:
存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系。输人没有标签的新数据后,将新数据的每个特征与样本集中数据对应的
特征进行比较,然后算法提取样本集中特征最相似数据(最近 邻)的分类标签。一般来说,我们只选择样本数据集中前k个最相似的数据,这就是k-近邻算法中k的出处,通常k是不大于20的整数。
最后,选择k个最相似数据中出现次数最多的分类,作为新数据的分类。
案例一.使用打斗和接吻镜头数分类电影
案例分析:
首先我们需要知道未知电影存在多少个打斗镜头和接吻镜头,计算未知电影与样本集中其他电影的距离。按照距离递增排序,可以找到K个距离最近的电影。然后选取K个分类中出现次数最多的分类即为未知电影的种类。
k-近邻算法的一般流程:
(1)收集数据:可以使用任何方法。
(2)准备数据:距离计算所需要的数值,最好是结构化的数据格式。
(3)分析数据:可以使用任何方法。
(4)训练算法:此步驟不适用于1 近邻算法。
(5)测试算法:计算错误率。
(6)使用算法:首先需要输入样本数据和结构化的输出结果,然后运行女-近邻算法判定输
入数据分别属于哪个分类,最后应用对计算出的分类执行后续的处理。
代码:
kNN.py
from numpy import *
import operator
#创建数据集
def createDataSet():
#使用numpy中的Array类创建二维数组
group = array([[3,104],[2,100],[1,81],[101,10],[99,5],[98,2])
labels = [‘爱情片‘,‘爱情片‘,‘爱情片‘,‘动作片‘,‘动作片‘,‘动作片‘]
return group,labels
‘‘‘
inx,测试向量
dataSet,数据集,二维矩阵形式
labels,类别
k,次数
‘‘‘
def classify0(inx, dataSet, labels, k):
#获取二维数组行数
dataSetSize = dataSet.shape[0]
#tile,将inx向量转化为与dataSet同等行数列数的二维数组
diffMat = tile(inx,(dataSetSize,1)) - dataSet
sqDiffMat = diffMat ** 2
sqDistances = sqDiffMat.sum(axis = 1)
distances = sqDistances ** 0.5
sortedDistIndicies = distances.argsort();
classCount = {};
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1;
#operator.itemgetter(1)指定以classCount中的value作为排序比较的数,reverse=True表示逆序显示,需要注意的是python3之后字典没有iteritems方法。
sortedClassCount = sorted(classCount.items(),key = operator.itemgetter(1),reverse=True)
return sortedClassCount[0][0]
测试代码:
import kNN
group,labels = kNN.createDataSet()
kNN.classify0([18,90],group,labels,3)
结果截图
参考书籍:
<机器学习实战>
作者:Peter
出版社:人民邮电出版社
以上是关于机器学习实战笔记-K近邻算法1(分类动作片与爱情片)的主要内容,如果未能解决你的问题,请参考以下文章