聚类K-means算法

Posted 2021-03-02 luowei93

聚类K-means算法

　　问题:给你一张这样的图,也没给其他信息,让你去给他们分类?怎么分类

 

 　　那么,我们可能会以帽子或头发等为特征对他们进行分类,物以类聚,人以群分

 

 

---

聚类的原理:

 

　　1. 随机在数据当中抽取三个样本,当做三个类别的中心点(k1,k2,k3). ##图一,颜色实心标记##
　　2. 计算其余的点分别到这三个中心点的距离,这样每一个点(样本)就有3个距离(a,b,c),从中选出距离最近的一个中心点作为自己的标记形成三个族群.
　　3. 分别计算这三个族群的平均值,把三个平均值与三个旧的中心点进行比较.
    　　 - 如果相同:结束聚类.
    　　 - 如果不同:把这个平均值当做新的中心点,重复第二步第三步直到结束聚类.

 

K-means步骤:

 

1. 随机设置k个特征空间内的点作为初始的聚类中心
2. 对于其他每个点计算到k个中心的距离,未知的点选择最近的一个聚类中心点作为标记类别
3. 接着对标记聚类中心之后,计算每个聚类的新中心点(平均值)
4. 如果计算得出的新中心点与原中心点一样,那么聚类结束,否则重新进行第二步骤

K-means→API:

sklearn.cluster.KMeans(n_clusters=8,init=‘k-means++‘)
    k-means聚类
    n_clusters:开始的聚类中心数量
    init:初始化方法,默认为‘k-means++‘
    labels_:默认标记的类型,可以和真实值比较(不是值比较)

聚类有什么作用?

　　聚类一般用在分类算法之前,然后进行预测.

聚类流程:

• 降维之后的数据
• k-means聚类
• 聚类结果显示

 

 

---

案例演示:

 

# 导入案例数据
import pandas as pd 
from sklearn.decomposition import PCA 
# 读取四张表的数据 
prior = pd.read_csv(r‘C:UsersluoweDesktopweek9week9instacartorder_products__prior.csv‘) 
product = pd.read_csv(r‘C:UsersluoweDesktopweek9week9instacartproducts.csv‘) 
orders = pd.read_csv(r‘C:UsersluoweDesktopweek9week9instacartorders.csv‘) 
aisles = pd.read_csv(r‘C:UsersluoweDesktopweek9week9instacartaisles.csv‘)
# 合并四张表到一张表，（用户-物品类别） 
data = pd.merge(prior, product, on=‘product_id‘) 
data = pd.merge(data, orders, on=‘order_id‘ ) 
data = pd.merge(data, aisles, on=‘aisle_id‘)
# 建立一个以用户为行，产品为列的表 # 即用户和产品进行交叉
table = pd.crosstab(data[‘user_id‘], data[‘aisle‘])
# 数据结构为(206209, 134)，需要做主成分分析,进行降维 
pca = PCA(n_components=0.9)  # 保留90%的数据

res = pca.fit_transform(table)  #之前的数据降维学习的数据

 

 

 

# 数据量大,把数据减
x = res[:500]

# 假设用户一共分为4个类别
from sklearn.cluster import KMeans
km = KMeans(n_clusters=4)
km.fit(x)

# 聚类 ,分类加上标记
predict = km.predict(x)少

输出结果:

 

 500个结果,把这四个类别画出来:

 

import matplotlib.pyplot as plt
plt.figure(figsize=(10,10))

# 建立四个颜色
colored = [‘green‘,‘red‘,‘yellow‘,‘blue‘]
color=[colored[i] for i in predict]
plt.scatter(x[:, 1],x[:, 11],color=color)  # 散点图,x第1列,y第11列
plt.xlabel(‘1‘)
plt.ylabel(‘2‘) 
plt.show()  #因为只取了2个维度,所以看上去...

 

 

 

---

 

 

 

聚类的评估标准:

　　聚类效果的好坏

 

 # 外部聚类最大化,内部距离最小化 #

 

---

 

 ## 轮廓系数,计算聚类效果的好坏 ##

考虑极端情况:

 

完美聚类 bi>>ai : sci=1
最差聚类 bi<<ai : sci = -1 轮廓系数[-1,1] 一般轮廓系数大于0.1就是非常好的效果

 

　　

聚类评估API:

sklearn.metrics.silhouette_score(x,labels)
    计算所有样本的平均轮廓系数
    x:特征值
    labels:被聚类标记的目标值

## 评判聚类效果,轮廓系数
from sklearn.metrics import silhouette_score

silhouette_score(x,predict)  
# 通过不停的调优,网格搜索,交叉验证可以得到最好的聚类效果

输出:

 

 

---

 

K-means总结:

特点
    采用迭代, 直观易懂, 并且实用

缺点
    容易收敛到局部最优解.(多次聚类)....#类 里面有局部聚类#

注意 : 聚类一般做在分类之前