使用 TF-IDF 在 K-Means 中绘制质心

Posted 2023-03-12

【中文标题】使用 TF-IDF 在 K-Means 中绘制质心

【英文标题】：Plot centroids in K-Means using TF-IDF

【发布时间】：2020-09-08 20:10:57

【问题描述】：

我正在编码使用 KMeans 对文本进行分组，一切正常，但我无法将质心绘制在一起。我不知道怎么用matplotlib，只知道seaborn和tdidf创建的向量。

MiniBatchKMeans 有变量 cluster_centers_，但我无法在图像中使用它。

from sklearn.feature_extraction.text import TfidfVectorizer
df_abstracts = df_cleared['abstract'].tolist() # list with 33,000 lines of strings

tfidf = TfidfVectorizer(max_features=2**12, ngram_range=(1,4), stop_words = 'english')
vextorized = tfidf.fit_transform(df_abstracts)

#For the plot generation, I do this dimensionality reduction from 33,000 to 2.
from sklearn.decomposition import PCA
pca = PCA(n_components = 9)
X_pca = pca.fit_transform(vextorized.toarray())

from sklearn.cluster import MiniBatchKMeans
kmeans = MiniBatchKMeans(init='k-means++', n_clusters=4, max_iter=500, n_init=10, 
                         random_state=9)

y_pred = kmeans.fit_predict(vextorized)
np.unique(y_pred)

palette = sns.color_palette('bright', len(set(y_pred)))
sns.scatterplot(X_pca[:,0], X_pca[:, 1], hue=y_pred, legend='full', palette=palette)
plt.title('Clustered')

【问题讨论】：

您使用的是 K-means（无监督方法），而不是 K-NN（监督学习模型）

【参考方案1】：

您对原始数据进行了 k 表示聚类，因此对于投影到 PCA 空间上的中心，您需要再次对其进行转换。

我使用一个示例数据集：

from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.decomposition import PCA
from sklearn.cluster import MiniBatchKMeans
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

categories = ['rec.sport.baseball', 'sci.electronics',
              'comp.os.ms-windows.misc', 'talk.politics.misc']

newsgroups = fetch_20newsgroups(subset='train',
                                      categories=categories)

X_train = newsgroups.data
y_train = newsgroups.target

tfidf = TfidfVectorizer(max_features=2**12, ngram_range=(1,4), stop_words = 'english')
vextorized = tfidf.fit_transform(X_train)

这部分在执行 pca 时，需要保持拟合，以便用于投影 kmeans 中心：

pca = PCA(n_components = 9).fit(vextorized.toarray())
X_pca = pca.transform(vextorized.toarray())

这是带有实际标签的数据的样子：

labels = [newsgroups.target_names[i] for i in y_train]
sns.scatterplot(X_pca[:,0], X_pca[:, 1], hue=labels, legend='full',palette="Set2")

现在kmeans：

kmeans = MiniBatchKMeans(init='k-means++', n_clusters=4, max_iter=500, n_init=10, 
                         random_state=777)
y_pred = kmeans.fit_predict(vextorized)
palette = sns.color_palette('bright', len(set(y_pred)))
sns.scatterplot(X_pca[:,0], X_pca[:, 1], hue=y_pred, legend='full', palette=palette)
plt.title('Clustered')

我们将中心投影在前 2 个分量上并绘制它们：

centers_on_PCs = pca.transform(kmeans.cluster_centers_)
plt.scatter(x=centers_on_PCs[:,0],y=centers_on_PCs[:,1],s=200,c="k",marker="X")