机器学习实战精读--------K-近邻算法

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习实战精读--------K-近邻算法相关的知识,希望对你有一定的参考价值。

对机器学习实战的课本和代码进行精读,帮助自己进步。

#coding:utf-8
from numpy import *
import operator		#运算符模块
from os import listdir  #os.listdir() 方法用于返回指定的文件夹包含的文件或文件夹的名字的列表。这个列表以字母顺序。 它不包括 ‘.‘ 和‘..‘ 即使它在文件夹中。


#创建数据集和标签
def createDataSet():
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])  #数据集
    #python中的list是python的内置数据类型,list中的数据类不必相同的,而array的中的类型必须全部相同。在list中的数据类型保存的是数据的存放的地址,简单的说就是指针,并非数据,这样保存一个list就太麻烦了,例如list1=[1,2,3,‘a‘]需要4个指针和四个数据,增加了存储和消耗cpu。
    labels = [‘A‘,‘B‘,‘C‘,‘D‘]    #标签
    return group,labels

#实施KNN算法    
#欧氏距离公式:欧几里得度量(euclidean metric)(也称欧氏距离)是一个通常采用的距离定义,指在m维空间中两个点之间的真实距离,或者向量的自然长度(即该点到原点的距离)。在二维和三维空间中的欧氏距离就是两点之间的实际距离
def classify0(inX, dataSet, labels, k):
	#inX:用于分类的输入向量; dataSet:输入的训练样本集; labels:标签向量; k:选择最近邻居的数目
    dataSetSize = dataSet.shape[0]   
	#shape函数它的功能是读取矩阵的长度,比如shape[0]就是读取矩阵第一维度的长度。它的输入参数可以使一个整数表示维度,也可以是一个矩阵。
    diffMat = tile(inX, (dataSetSize,1)) - dataSet 
	#他的功能是重复某个数组。比如tile(A,n),功能是将数组A重复n次,构成一个新的数组
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
	 #平时用的sum应该是默认的axis=0 就是普通的相加 ,而当加入axis=1以后就是将一个矩阵的每一行向量相加
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort()   
    #sort函数只定义在list中,sorted函数对于所有的可迭代序列都可以定义.
	#argsort()函数,是numpy库中的函数,返回的是数组值从小到大的索引值.
    classCount={}          
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)                              
	#key:用列表元素的某个属性和函数进行作为关键字,有默认值,迭代集合中的一项
	#reverse:排序规则. reverse = True 或者 reverse = False,有默认值。返回值:是一个经过排序的可迭代类型
    #operator模块提供的itemgetter函数用于获取对象的哪些维的数据,参数为一些序号(即需要获取的数据在对象中的序号)
    return sortedClassCount[0][0]




#step01 :因为直接用的人家的文件,所以我们这一步没有收集数据,我们可以用python爬虫进行海里数据收集


#step02 : 准备数据:从文本文件中解析数据,得到距离计算所需要的数值
def file2matrix(filename):
    fr = open(filename)
	#打开文件,赋值给fr
    numberOfLines = len(fr.readlines())  
    #get the number of lines in the file
    returnMat = zeros((numberOfLines,3))       
	#创建给定类型的矩阵,并初始化为0,另一维度设置为固定数值3
    classLabelVector = []   
    fr.close()   
	#有打开就要有关闭                   
    fr = open(filename)
    index = 0
    for line in fr.readlines():                
	#.readline() 和 .readlines() 之间的差异是后者一次读取整个文件,象 .read() 一样。.readlines() 自动将文件内容分析成一个行的列表,该列表可以由 Python 的 for ... in ... 结构进行处理。另一方面,.readline() 每次只读取一行,通常比 .readlines() 慢得多。仅当没有足够内存可以一次读取整个文件时,才应该使用 .readline()
        line = line.strip()                     
		#截取掉所有的回车字符。
        listFromLine = line.split(‘\t‘)    
		#使用tab字符\t将上一步得到的整行数据分割成一个列表
        returnMat[index,:] = listFromLine[0:3]
		#选取前三个元素,将它们存储到特征矩阵中
        classLabelVector.append(int(listFromLine[-1]))
		#将列表中最后一列存储到向量classLabelVector中
        index += 1
	fr.close()
    return returnMat,classLabelVector




#step02:   准备数据:归一化数值
#在处理这种不同取值范围的特征值时,我们通常采用的方法是将数值归一化 
#newvalue = (oldValue-min)/(max-min)  将任意取值范围的特征值转化为0到1区间的值
def autoNorm(dataSet):
    minVals = dataSet.min(0)      
	#从列中选取最小值,而不是当前行的最小值
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals	   
	#算出来数值范围
    normDataSet = zeros(shape(dataSet))  
    m = dataSet.shape[0]         
    normDataSet = dataSet - tile(minVals, (m,1))
    normDataSet = normDataSet/tile(ranges, (m,1))   #element wise divide
    return normDataSet, ranges, minVals


#step03 :分析数据:使用Matplotlib创建散点图



#step04: 测试算法:作为完整程序验证分类器
def datingClassTest():
    hoRatio = 0.50      #hold out 10%
    datingDataMat,datingLabels = file2matrix(‘./datingTestSet2.txt‘)       #load data setfrom file
    normMat, ranges, minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]
    numTestVecs = int(m*hoRatio)
    errorCount = 0.0
    for i in range(numTestVecs):
        classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)
        print "the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i])
        if (classifierResult != datingLabels[i]): errorCount += 1.0
    print "the total error rate is: %f" % (errorCount/float(numTestVecs))
    print errorCount

#step05  使用算法:构建完整可用系统
def classifyPerson():
	resultList = [‘not at all‘,‘in small doses‘,‘in large doses‘]
	percentTats = float(raw_input("percentage of time spent palying video games?"))
	ffMiles = float(raw_input("freguent filer miles earned per year?"))
	iceCream = float(raw_input("liters of ice cream consumed per year?"))
	datingDataMat,datingLabels = file2matrix(‘./datingTestSet2.txt‘)
	normMat,ranges,minVales = autoNorm(datingDataMat)
	inArr = array([ffMiles,percentTats,iceCream])
	classifierResult = classify0((inArr - minVales)/ranges,normMat,datingLabels,3)
	print "you will probably like this person:",resultList[classifierResult -1]

重点:

01:K-近邻算法底层算法是欧式距离公式,计算m维空间中两点之间的真实距离,或者向量的自然长度。

02:归一化数值:

newvalue = (oldValue-min)/(max-min)  将任意取值范围的特征值转化为0到1区间的值

 这个思想很重要。


体会:在我看来,整个机器学习从数据采集到最终的程序,整个流程特别重要,算法是核心,处理干扰项的时候,我们用到了归一化。

本文出自 “付炜超” 博客,谢绝转载!

以上是关于机器学习实战精读--------K-近邻算法的主要内容,如果未能解决你的问题,请参考以下文章

机器学习实战☛k-近邻算法(K-Nearest Neighbor, KNN)

监督学习算法_k-近邻(kNN)分类算法_源代码

《机器学习实战》读书笔记2:K-近邻(kNN)算法

Ubuntu机器学习python实战k-近邻算法

《机器学习实战》-k近邻算法

机器学习实战笔记(Python实现)-01-K近邻算法(KNN)