《机器学习实战》中的程序清单2-1 k近邻算法classify0都做了什么
Posted 王明辉的部落
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了《机器学习实战》中的程序清单2-1 k近邻算法classify0都做了什么相关的知识，希望对你有一定的参考价值。
from numpy import * import operator import matplotlib import matplotlib.pyplot as plt from imp import * #from os import * import os reload(operator) def start(): group,labels = createDataSet() testSample = [5,7] print("测试样本：" ,end="") print(testSample) return classify0(testSample, group, labels, 4) def createDataSet(): group = array([[1,2],[2,3],[1,1],[4,5]]) #此处随意定义，表示一个已知的已分类的数据集 labels = [\'A\',\'A\',\'B\',\'B\'] #例如 #group = array([[1,2],[2,3],[1,1],[4,5],[5,7],[6,6]]) #此处随意定义，表示一个已知的已分类的数据集 #labels = [\'A\',\'A\',\'B\',\'B\',\'C\',\'C\'] return group, labels def classify0(inX, dataSet, labels, k): """ inX 是输入的测试样本，是一个[x, y]样式的 dataset 是训练样本集 labels 是训练样本标签 k 是top k最相近的 """ # 矩阵的shape是个tuple，如果直接调用dataSet.shape，会返回(4,2)，即 # 返回矩阵的(行数，列数)， # 那么shape[0]获取数据集的行数， # 行数就是样本的数量 # shape[1]返回数据集的列数 dataSetSize = dataSet.shape[0] ###################说明代码######################## #print("dataSet.shape[0]返回矩阵的行数：") #print(dataSetSize) #print("dataSet.shape[1]返回矩阵的列数：") #cols = dataSet.shape[1] #print(cols) #print(dataSet.shape) #print("dataSet.shape类型：") #print(type(dataSet.shape)) ################################################### #此处Mat是Maxtrix的缩写，diffMat，即矩阵的差，结果也是矩阵 #关于tile函数的说明，见http://www.cnblogs.com/Sabre/p/7976702.html #简单来说就是把inX（本例是[1,1]）在“行”这个维度上，复制了dataSetSize次(本例dataSetSize==4)，在“列”这个维度上，复制了1次 #形成[[1,1],[1,1],[1,1],[1,1]]这样一个矩阵，以便与dataSet进行运算 #之所以进行这样的运算，是因为要使用欧式距离公式求输入点与已存在各点的距离 #这是第1步，求给出点[1,1]与已知4点的差，输出为矩阵 diffMat = tile(inX,(dataSetSize,1)) - dataSet #print(tile(inX,(dataSetSize,1))) ###################说明代码######################## #print("diffMat:" + str(diffMat)) ################################################### #第2步，对矩阵进行平方，即，求差的平方 sqDiffMat = diffMat ** 2 ###################说明代码######################## #print("sqDiffMat:" + str(sqDiffMat)) #print("sqDiffMat",end="") #print(sqDiffMat[324]) ################################################### #sum(axis=1)是将矩阵中每一行中的数值相加,如[[0 0] [1 1] [0 1] [9 9]]将得到[0,2,1,18]，得到平方和 #sum(axis=0)是将矩阵中每一列中的数值相加 #第3步，求和 sqDistances = sqDiffMat.sum(axis=1) #print("sqDistances：", end="") #print(sqDistances[875]) ###################说明代码######################## #print("sqDistances:" + str(sqDistances)) ################################################### #第4步，将平方和进行开方，得到距离，输出为数组 distances = sqDistances ** 0.5 ###################说明代码######################## #print("未知点到各个已知点的距离:",distances) ################################################### #argsort()，将数组中的元素的索引放在由小到大的位置上由小到大排序 #如数组a = array([ 0 4 3 18])，b = a.argsort()之后，得到b是[0 2 1 3]这是a的索引数组，最小的在最前面，位置0，第二小的是索引为2的元素，即3，3在数组中的位置是2 #第三小的是索引为1的，即4，4在数组中的索引位置是2，第四小的是索引为3的，即18 #这样保证了原数组元素的位置不变，以便进行标签的匹配 #print(distances[875]) #print(distances[324]) #print(distances[392]) sortedDistIndicies = distances.argsort() ###################说明代码######################## #print("索引位置:", sortedDistIndicies) #可得到前k个索引 ################################################### #创建空字典 classCount = {} #k值是取前k个样本进行比较 for i in range(k): #返回distances中索引为sortedDistIndicies[i]的值 #此例中分别为： #sortedDistIndicies[0]==0，则labels[0]==\'A\'，voteIlabel==\'A\' #sortedDistIndicies[1]==2，则labels[2]==\'B\'，voteIlabel==\'B\' #sortedDistIndicies[2]==1，则labels[0]==\'A\'，voteIlabel==\'A\' #sortedDistIndicies[3]==18，则labels[0]==\'B\'，voteIlabel==\'B\' voteIlabel = labels[sortedDistIndicies[i]] #print("中华人民共和国") ###################说明代码######################## # print(voteIlabel) # print("标签" + str(i) + "：" + str(voteIlabel)) ################################################### #dict.get(key, default=None)，对于键 key 返回其对应的值，或者若 dict 中不含 key 则返回 default（注意， default的默认值为 None，此处设置为0） #第一次调用classCount.get时，classCount内还没有值 classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1 ###################说明代码######################## # print("第"+str(i+1)+"次访问，classCount[" + str(voteIlabel) + "]值为:" + str(classCount[voteIlabel])) # print("classCount的内容为:") # print(classCount) ################################################### # sorted(iterable[,cmp,[,key[,reverse=True]]]) # 作用：Return a new sorted list from the items in iterable. # 第一个参数是一个iterable，返回值是一个对iterable中元素进行排序后的列表(list)。 # 可选的参数有三个，cmp、key和reverse。 # 1)cmp指定一个定制的比较函数，这个函数接收两个参数（iterable的元素），如果第一个参数小于第二个参数，返回一个负数；如果第一个参数等于第二个参数，返回零；如果第一个参数大于第二个参数，返回一个正数。默认值为None。 # 2)key指定一个接收一个参数的函数，这个函数用于从每个元素中提取一个用于比较的关键字。默认值为None。 # 从python2.4开始，list.sort()和sorted()函数增加了key参数来指定一个函数，此函数将在每个元素比较前被调用 # key参数的值为一个函数，此函数只有一个参数且返回一个值用来进行比较。这个技术是快速的，因为key指定的函数将准确地对每个元素调用。 # key=operator.itemgetter(0)或key=operator.itemgetter(1)，决定以字典的键排序还是以字典的值排序 # 0以键排序，1以值排序 # 3)reverse是一个布尔值。如果设置为True，列表元素将被倒序排列。 # operator.itemgetter(1)这个很难解释，用以下的例子一看就懂 # a=[11,22,33] # b = operator.itemgetter(2) # b(a) # 输出：33 # b = operator.itemgetter(2,0,1) # b(a) # 输出：(33,11,22) # operator.itemgetter函数返回的不是值，而是一个函数，通过该函数作用到对象上才能获取值
# 在这里itemgetter(1)的作用是按照第二个元素的顺序对元组进行排序，也就是value的顺序，如果改成itemgetter(0)，则根据Key值排序
sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1), reverse=True) #print(sortedClassCount) #返回正序排序后最小的值，即“k个最小相邻”的值决定测试样本的类别 print("最终结果，测试样本类别：" , end="") print(sortedClassCount) return sortedClassCount[0][0]
以下为输出结果，未必完全一致，请自行调试。
输出结果：
| dataSet.shape[0]返回矩阵的行数： 4 dataSet.shape[1]返回矩阵的列数： 2 (4, 2) dataSet.shape类型： <class \'tuple\'> diffMat:[[ 2 1] [ 1 0] [ 2 2] [-1 -2]] sqDiffMat:[[4 1] [1 0] [4 4] [1 4]] sqDistances:[5 1 8 5] 未知点到各个已知点的距离: [ 2.23606798 1. 2.82842712 2.23606798] 索引位置: [1 0 3 2] 标签0：A 第1次访问，classCount[A]值为:1 classCount的内容为: {\'A\': 1} 标签1：A 第2次访问，classCount[A]值为:2 classCount的内容为: {\'A\': 2} 标签2：B 第3次访问，classCount[B]值为:1 classCount的内容为: {\'A\': 2, \'B\': 1} 标签3：B 第4次访问，classCount[B]值为:2 classCount的内容为: {\'A\': 2, \'B\': 2} [(\'A\', 2), (\'B\', 2)] 最终结果，测试样本类别：A [Finished in 5.3s] |
以上是关于《机器学习实战》中的程序清单2-1 k近邻算法classify0都做了什么的主要内容，如果未能解决你的问题，请参考以下文章
机器学习实战☛k-近邻算法（K-Nearest Neighbor， KNN）