在 K-means 聚类中组织聚类

Posted

技术标签:

【中文标题】在 K-means 聚类中组织聚类【英文标题】:Organizing Clusters in K-means clustering 【发布时间】:2019-03-16 02:37:51 【问题描述】:

我正在使用 python 对 Mnist 数据库 (http://yann.lecun.com/exdb/mnist/) 进行 k-means 聚类。我能够成功地对数据进行聚类,但无法标记聚类。意思是,我看不到哪个簇号包含哪个数字。例如簇 5 可以容纳数字 7。

在完成 k-means 聚类后,我需要编写代码来正确标记聚类。还需要在代码中添加图例。

from __future__ import division, print_function, absolute_import

import tensorflow as tf 
import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D  #only needed for 3D plots 
#scikit learn
from sklearn.cluster import KMeans

#pandas to read excel file
import pandas
import xlrd
# Import MNIST data
from tensorflow.examples.tutorials.mnist import input_data


Links:
[MNIST Dataset] http://yann.lecun.com/exdb/mnist/




df = pandas.read_csv('test_encoded_with_label.csv',header=None, 
delim_whitespace=True)
#df = pandas.read_excel('test_encoded_with_label.xls')
#print column names
print(df.columns)


df1 = df.iloc[:,0:2] #0 and 1, the last index is not used for iloc
labels = df.iloc[:,2]
labels = labels.values


dataset = df1.values
#train indices - depends how many samples
trainidx = np.arange(0,9999)
testidx = np.arange(0,9999)
train_data = dataset[trainidx,:]
test_data = dataset[testidx,:]
train_labels = labels[trainidx] #just 1D, no :
tpredct_labels = labels[testidx]


kmeans = KMeans(n_clusters=10, random_state=0).fit(train_data)
kmeans.labels_ 
#print(kmeans.labels_.shape)


plt.scatter(train_data[:,0],train_data[:,1], c=kmeans.labels_)


predct_labels = kmeans.predict(train_data)


print(predct_labels)
print('actual label', tpredct_labels)


centers = kmeans.cluster_centers_
print(centers)

plt.show()

【问题讨论】:

【参考方案1】:

要创建标记以查找标记点的集群,您可以使用annotate 方法

这是在 sklearn 数字数据集上运行的示例代码,我尝试在其中标记生成的聚类的质心。请注意,我只是出于说明目的将集群标记为 0-9:

import numpy as np
import matplotlib.pyplot as plt

from sklearn.cluster import KMeans
from sklearn.datasets import load_digits
from sklearn.decomposition import PCA
from sklearn.preprocessing import scale

np.random.seed(42)

digits = load_digits()
data = scale(digits.data)

n_samples, n_features = data.shape
n_digits = len(np.unique(digits.target))
labels = digits.target
h = .02
reduced_data = PCA(n_components=2).fit_transform(data)
kmeans = KMeans(init='k-means++', n_clusters=n_digits, n_init=10)
kmeans.fit(reduced_data)

centroids = kmeans.cluster_centers_
plt_data = plt.scatter(reduced_data[:, 0], reduced_data[:, 1], c=kmeans.labels_, cmap=plt.cm.get_cmap('Spectral', 10))
plt.colorbar()
plt.scatter(centroids[:, 0], centroids[:, 1],
            marker='x')
plt.title('K-means clustering on the digits dataset (PCA-reduced data)\n'
          'Centroids are marked with white cross')
plt.xlabel('component 1')
plt.ylabel('component 2')
labels = ['0'.format(i) for i in range(10)]
for i in range (10):
    xy=(centroids[i, 0],centroids[i, 1])
    plt.annotate(labels[i],xy, horizontalalignment='right', verticalalignment='top')
plt.show()

这是你得到的结果:

【讨论】:

【参考方案2】:

要添加图例,try: plt.scatter(train_data[:,0], train_data[:,1], c=kmeans.labels_, label=kmeans.labels_) plt.legend()

【讨论】:

以上是关于在 K-means 聚类中组织聚类的主要内容,如果未能解决你的问题,请参考以下文章

k-means 聚类中的项数

使用 K-Means 聚类时,为啥我的数据点不在正确准确的聚类中?

在 k-means 聚类中最小化损失函数意味着啥?

如何从 K-Means 聚类中解释轮廓系数?

[聚类算法] K-means 算法

如何在 Mahout K-means 聚类中维护数据条目 ID