机器学习实战笔记-K近邻算法1(分类动作片与爱情片)

Posted kevincong

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习实战笔记-K近邻算法1(分类动作片与爱情片)相关的知识,希望对你有一定的参考价值。

K近邻算法采用测量不同特征值之间的距离方法进行分类

K近邻算法特点:
优点:精度高、对异常值不敏感、无数据输入假定。
缺点:计算复杂度高、空间复杂度高。
适用数据范围:数值型和标称型。

K近邻算法原理:
存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系。输人没有标签的新数据后,将新数据的每个特征与样本集中数据对应的
特征进行比较,然后算法提取样本集中特征最相似数据(最近 邻)的分类标签。一般来说,我们只选择样本数据集中前k个最相似的数据,这就是k-近邻算法中k的出处,通常k是不大于20的整数。
最后,选择k个最相似数据中出现次数最多的分类,作为新数据的分类。

案例一.使用打斗和接吻镜头数分类电影

案例分析:
    首先我们需要知道未知电影存在多少个打斗镜头和接吻镜头,计算未知电影与样本集中其他电影的距离。按照距离递增排序,可以找到K个距离最近的电影。然后选取K个分类中出现次数最多的分类即为未知电影的种类。

k-近邻算法的一般流程: 
    (1)收集数据:可以使用任何方法。
    (2)准备数据:距离计算所需要的数值,最好是结构化的数据格式。
    (3)分析数据:可以使用任何方法。
    (4)训练算法:此步驟不适用于1 近邻算法。
    (5)测试算法:计算错误率。
    (6)使用算法:首先需要输入样本数据和结构化的输出结果,然后运行女-近邻算法判定输
    入数据分别属于哪个分类,最后应用对计算出的分类执行后续的处理。

代码:

kNN.py
from numpy import *
import operator

#创建数据集

def createDataSet():

    #使用numpy中的Array类创建二维数组
    group = array([[3,104],[2,100],[1,81],[101,10],[99,5],[98,2])
    labels = [‘爱情片‘,‘爱情片‘,‘爱情片‘,‘动作片‘,‘动作片‘,‘动作片‘]
    return group,labels
‘‘‘
inx,测试向量
dataSet,数据集,二维矩阵形式
labels,类别
k,次数
‘‘‘
def classify0(inx, dataSet, labels, k): #获取二维数组行数 dataSetSize = dataSet.shape[0] #tile,将inx向量转化为与dataSet同等行数列数的二维数组 diffMat = tile(inx,(dataSetSize,1)) - dataSet sqDiffMat = diffMat ** 2 sqDistances = sqDiffMat.sum(axis = 1) distances = sqDistances ** 0.5 sortedDistIndicies = distances.argsort(); classCount = {}; for i in range(k): voteIlabel = labels[sortedDistIndicies[i]] classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1; #operator.itemgetter(1)指定以classCount中的value作为排序比较的数,reverse=True表示逆序显示,需要注意的是python3之后字典没有iteritems方法。 sortedClassCount = sorted(classCount.items(),key = operator.itemgetter(1),reverse=True) return sortedClassCount[0][0]

测试代码:
import kNN

group,labels = kNN.createDataSet()
kNN.classify0([18,90],group,labels,3)

结果截图
技术分享

参考书籍:
<机器学习实战>
作者:Peter
出版社:人民邮电出版社















以上是关于机器学习实战笔记-K近邻算法1(分类动作片与爱情片)的主要内容,如果未能解决你的问题,请参考以下文章

实验楼 1. k-近邻算法实现手写数字识别系统--《机器学习实战 》

机器学习基础05DAY

3.1_分类算法之k-近邻

《机器学习实战》读书笔记2:K-近邻(kNN)算法

机器学习实战笔记-K近邻算法2(改进约会网站的配对效果)

K-邻近算法