如何绘制 K-mean 算法的混淆/相似矩阵
Posted
技术标签:
【中文标题】如何绘制 K-mean 算法的混淆/相似矩阵【英文标题】:How to plot the confusion/similarity matrix of a K-mean algorithm 【发布时间】:2017-12-20 06:01:24 【问题描述】:我使用 scikit learn 应用 K-mean 算法对一些文本文档进行分类并显示聚类结果。 我想在相似度矩阵中显示我的集群的相似度。 我在 scikit learn 库中没有看到任何允许这样做的工具。
# headlines type: <class 'numpy.ndarray'> tf-idf vectors
pca = PCA(n_components=2).fit(headlines)
data2D = pca.transform(to_headlines)
pl.scatter(data2D[:, 0], data2D[:, 1])
km = KMeans(n_clusters=4, init='k-means++', max_iter=300, n_init=3, random_state=0)
km.fit(headlines)
有没有什么方法/库可以让我轻松绘制这个余弦相似度矩阵?
【问题讨论】:
Kmeans 返回每个点的集群标签。您可以使用它在散点图中可视化(按集群标签着色)。 澄清一下,您是要显示每个集群的相似度矩阵,还是所有点的相似度矩阵,不同的集群在视觉上以某种方式相互区分? 我正在尝试显示一个矩阵,我的所有集群都在对角线上 【参考方案1】:如果我猜对了,您会想要生成一个类似于here 所示的混淆矩阵。但是,这需要可以相互比较的truth
和prediction
。假设您有一些将标题分类为 k
组(truth
)的黄金标准,您可以将其与 KMeans 聚类(prediction
)进行比较。
唯一的问题是 KMeans 聚类与您的 truth
无关,这意味着它生成的聚类标签将与黄金标准组的标签不匹配。但是,有一种解决方法,即根据可能的最佳匹配将kmeans labels
与truth labels
匹配。
这是一个如何工作的示例。
首先,让我们生成一些示例数据 - 在本例中,有 100 个样本,每个样本有 50 个特征,从 4 个不同(且略有重叠)的正态分布中采样。细节无关紧要;所有这一切都应该做的是模仿你可能正在使用的那种数据集。在这种情况下,truth
是生成样本的正态分布的平均值。
# User input
n_samples = 100
n_features = 50
# Prep
truth = np.empty(n_samples)
data = np.empty((n_samples, n_features))
np.random.seed(42)
# Generate
for i,mu in enumerate(np.random.choice([0,1,2,3], n_samples, replace=True)):
truth[i] = mu
data[i,:] = np.random.normal(loc=mu, scale=1.5, size=n_features)
# Show
plt.imshow(data, interpolation='none')
plt.show()
接下来,我们可以应用 PCA 和 KMeans。
请注意,我不确定您的示例中 PCA 的确切意义是什么,因为您实际上并未将 PC 用于您的 KMeans,而且不清楚您转换的数据集 to_headlines
是什么。
在这里,我正在转换输入数据本身,然后使用 PC 进行 KMeans 聚类。我还使用输出来说明 Saikat Kumar Dey 在对您的问题的评论中建议的可视化:散点图,其中点按集群标签着色。
# PCA
pca = PCA(n_components=2).fit(data)
data2D = pca.transform(data)
# Kmeans
km = KMeans(n_clusters=4, init='k-means++', max_iter=300, n_init=3, random_state=0)
km.fit(data2D)
# Show
plt.scatter(data2D[:, 0], data2D[:, 1],
c=km.labels_, edgecolor='')
plt.xlabel('PC1')
plt.ylabel('PC2')
plt.show()
接下来,我们必须找到最开始生成的truth labels
(这里是采样正态分布的mu
)和由聚类。
在这个例子中,我只是简单地匹配它们,使真阳性预测的数量最大化。 请注意,这是一个简单、快速而肮脏的解决方案!
如果您的预测总体上非常好,并且如果每个组在数据集中由相似数量的样本表示,那么它可能会按预期工作 - 否则,它可能会产生不匹配/合并,并且您可能会有点高估因此,您的聚类质量。
欢迎提出更好的解决方案。
# Prep
k_labels = km.labels_ # Get cluster labels
k_labels_matched = np.empty_like(k_labels)
# For each cluster label...
for k in np.unique(k_labels):
# ...find and assign the best-matching truth label
match_nums = [np.sum((k_labels==k)*(truth==t)) for t in np.unique(truth)]
k_labels_matched[k_labels==k] = np.unique(truth)[np.argmax(match_nums)]
现在我们已经匹配了truths
和predictions
,我们终于可以计算和绘制混淆矩阵了。
# Compute confusion matrix
from sklearn.metrics import confusion_matrix
cm = confusion_matrix(truth, k_labels_matched)
# Plot confusion matrix
plt.imshow(cm,interpolation='none',cmap='Blues')
for (i, j), z in np.ndenumerate(cm):
plt.text(j, i, z, ha='center', va='center')
plt.xlabel("kmeans label")
plt.ylabel("truth label")
plt.show()
希望这会有所帮助!
【讨论】:
以上是关于如何绘制 K-mean 算法的混淆/相似矩阵的主要内容,如果未能解决你的问题,请参考以下文章
matlab如何在matlab利用plotconfusion中绘制混淆矩阵
使用 sklearn 使用 Keras 数据生成器绘制混淆矩阵