VGG 特征的 K 均值聚类不起作用

Posted 2023-03-12

【中文标题】VGG 特征的 K 均值聚类不起作用

【英文标题】：K-means clustering for VGG features is not working

【发布时间】：2018-04-18 16:16:38

【问题描述】：

我有一个大小为 37759x4096 的多维数组。 37759 是特征观测的数量，每个特征的大小为 4096。

这些特征是我为 37759 inages 提取的图像的 vgg 特征。我想执行 k-means 聚类，看看它们是否会在相同的类中分组。

代码sn-p：

from sklearn.cluster import KMeans
import numpy as np

features = np.asarray(features) #converting list to features
kmeans = KMeans(n_clusters=17).fit(features)

输出：

 In [26]: kmeans.labels_
Out[26]: array([ 0,  0,  0, ..., 11, 11, 11], dtype=int32)

In [27]: len(kmeans.labels_)
Out[27]: 37759

In [28]: kmeans.cluster_centers_
Out[28]: 
array([[  2.46095985e-01,  -4.32133675e-07,   6.41381502e-01, ...,
          9.16770659e-09,   2.39292532e-03,   9.38249767e-01],
       [  1.18244767e+00,   8.83443374e-03,   8.44059408e-01, ...,
          6.17001206e-09,   7.23063201e-03,   4.57734227e-01],
       [  5.05003333e-01,   2.45869160e-07,   1.07537758e+00, ...,
         -4.24915925e-09,   2.19564766e-01,   6.04652226e-01],
       ..., 
       [  2.72164375e-01,   7.94929452e-03,   8.18695068e-01, ...,
         -3.43425199e-09,   7.62813538e-03,   2.84249210e+00],
       [  1.03947210e+00,   1.03959814e-04,   7.81472027e-01, ...,
          7.42147677e-09,   1.28777415e-01,   8.22515607e-01],
       [  1.55310243e-01,   6.24559261e-02,   7.55328536e-01, ...,
         -3.84170562e-09,   2.09998786e-02,   4.18608427e-01]], dtype=float32)

首先，由于它是一个高维数据，我不确定 k-means 是否是最好的方法。它只分类了 11 个集群，而不是 17 个。 但无论如何，

我们如何确保它是按行（根据样本观察）而不是按列（特征）对数组进行聚类 相同类的特征堆叠在一起，但我们可以看到kmeans.cluster_centers_中的聚类中心非常不同，从前三个数组推断 如何可视化这些数据？如何找到唯一的数组？ 您对如何对诸如此类的高维数据执行聚类有任何指导吗？

【参考方案1】：

kmeans 中的簇可能会变空并因此消失。

如果发生这种情况，最初的中心选择不当，结果往往不是“稳定的”。如果您尝试不同的初始种子，您可能会得到非常不同的结果。

对此类数据进行聚类和可视化很困难，而且您找不到简单的开箱即用解决方案。

【讨论】：

同意！我最终查看了类间和类内的协方差，以确保我的数字有意义。对于这样的高维数据，你有关于 T-SNE 的 cmets 吗？

t-SNE 聚类可能会产生很大的误导。请参阅这个出色的图形答案：stats.stackexchange.com/a/264647/7828，它显示了 t-SNE 如何构成数据中没有的“集群”。