郑捷《机器学习算法原理与编程实践》学习笔记(第四章 推荐系统原理)kmeans
Posted 金秀
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了郑捷《机器学习算法原理与编程实践》学习笔记(第四章 推荐系统原理)kmeans相关的知识,希望对你有一定的参考价值。
(上接第二章)
4.3.1 KMeans 算法流程
算法的过程如下:
(1)从N个数据文档随机选取K个文档作为质心
(2)对剩余的每个文档测量其到每个质心的距离,并把它归到最近的质心的类
(3)重新计算已经得到的各个类的质心
(4)迭代(2)~(3)步直至新的质心与原质心相等或者小于指定阀值,算法结束。
4.3.2 辅助函数
(1)文件数据转为矩阵:file2matrix
def file2matrix(path,delimiter): recordlist = [] fp = open(path,"rb")#读取文件内容 content = fp.read() fp.close() rowlist = content.splitlines()#按行转化为一维表 #逐行遍历,结果按分割符分割为行向量 recordlist = [map(eval,row.split(delimiter)) for row in rowlist if row.strip()]#eval:字符串转为、矩阵形式
return mat(recordlist)#返回转换后的矩阵形式
(2)根据聚类中心绘制散点图,以及绘制聚类中心:默认4个聚类中心
def color_cluster(dataindx,dataSet,plt,k = 4): index = 0 datalen = len(dataindx) for indx in xrange(datalen): if int(dataindx[indx]) == 0: plt.scatter(dataSet[indx,0],dataSet[indx,1],c=‘blue‘,marker=‘o‘) elif int(dataindx[indx]) == 1: plt.scatter(dataSet[indx,0],dataSet[indx,1],c=‘green‘,marker=‘o‘) elif int(dataindx[indx]) == 2: plt.scatter(dataSet[indx,0],dataSet[indx,1],c=‘red‘,marker=‘o‘) elif int(dataindx[indx]) == 3: plt.scatter(dataSet[indx,0],dataSet[indx,1],c=‘cyan‘,marker=‘o‘) index += 1 #绘制散点图 def drawScatter(plt,mydata,size = 20,color = ‘blue‘,mrkr = ‘o‘): plt.scatter(mydata.T[0],mydata.T[1],s = size,c = color,marker = mrkr)
(3)欧式距离公式
#欧式距离 def distEclud(vecA,vecB): return linalg.norm(vecA-vecB)
(4)随机生成聚类的中心
def randCenters(dataSet,k): n = shape(dataSet)[1] #初始化聚类中心矩阵:k*n clustercents = mat(zeros(k,n)) for col in xrange(n): mincol = min(dataSet[:,col]) maxcol = max(dataSet[:,col]) #random.rand(k,1):产生一个0~1之间的随机数向量:k,1表示k行1列的随机数 clustercents[:,col] = mat(mincol+float(maxcol-mincol)*random.rand(k,1)) return clustercents
4.3.3 聚类主函数
第一阶段:导入所需要的库,导入数据集,指定聚类中心k:
dataMat = file2matrix("./iris.txt"," ") #从文件构建的数据集 dataSet = mat(dataMat[:,1:]) #转换为矩阵的形式
m = dataSet.shape[0]
k = 4 #外部指定的聚类中心 #与数据等长,共两列。 #:列1:数据集对应的聚类中心k: #列2:数据集行向量到聚类中心的距离 ClusDist = mat(zeros((m,2))) clutercents = randCenters(dataSet,k) #随机生成聚类中心 flag = True #初始化迭代所需的标志位 counter = []
第二阶段:算法停止迭代,即dataSet的所有向量都能找到某个聚类中心,到此中心的距离均小于其他k-1个中心的距离。
while flag: #主循环 flag = False #默认设置退出标志(False)
第三阶段:内循环1遍历dataSet数据集,计算dataSet每行与聚类的最小欧氏距离,并以此更新聚类中心。
算法停止条件:ClustDist[i,0] == minIndex
for i in xrange(m): #遍历k个聚类中心,获取最短距离 distlist = [distEclud(clustercents[j,:],dataSet[i,:]) for j in range(k)] minDist = min(distlist) minIndex = distlist.index(minDist) if ClusDist[i,0] != minIndex: #找到一个新聚类中心 flag = True #重置标志位True,继续迭代 #更新聚类中心 ClusDist[i,:] = minIndex,minDist
第四阶段:内循环2遍历每个聚类中心,计算DataSet已聚类的子列均值,并以此更新聚类中心。
for cent in xrange(k): #从ClustDist的第一列筛选出等于cent的行下标 pstInClust = dataSet[nonzero(ClusDist[:,0].A == cent)[0]] #计算pstInClust各列的均值:mean(ptsInClust,axis = 0):axis=0 #按列计算 clustercents[cent,:] = mean(ptsInClust,axis = 0)
4.3.4 评估分类结果:
第五阶段:分类结果可视化。
#返回计算完成的聚类中心 print "clustercents:\n",clustercents #根据ClustDist分类和描绘数据点 color_cluster(ClusDist[:,0:1],dataSet,plt) #绘制聚类中心 drawScatter(plt,clustercents,size=60,color=‘red‘,mrkr=‘D‘) plt.show()
以上是关于郑捷《机器学习算法原理与编程实践》学习笔记(第四章 推荐系统原理)kmeans的主要内容,如果未能解决你的问题,请参考以下文章
郑捷《机器学习算法原理与编程实践》学习笔记(第六章 神经网络初步)6.5 Boltzmann机算法
郑捷《机器学习算法原理与编程实践》学习笔记(第七章 预测技术与哲学)7.3 岭回归
郑捷《机器学习算法原理与编程实践》学习笔记(第七章 预测技术与哲学)7.1 线性系统的预测
郑捷《机器学习算法原理与编程实践》学习笔记(第三章 决策树的发展)_Scikit-learn与回归树