如何将集群标签列添加回原始数据框-python，用于监督学习

Posted 2023-03-12

【中文标题】如何将集群标签列添加回原始数据框-python，用于监督学习

【英文标题】：How to add cluster label columns back into original dataframe- python, for supervised learning

【发布时间】：2019-08-18 11:34:11

【问题描述】：

我的数据框中有一列包含 URL 信息。它有 1200 多个唯一值。我想使用文本挖掘从这些值中生成特征。我使用 tfidfvectorizer 生成向量，然后使用 kmeans 来识别集群。我现在想将这些集群标签分配回我的原始数据框中，以便我可以将 URL 信息合并到这些集群中。

下面的代码生成向量和簇标签

from scipy.spatial.distance import cdist


vectorizer = TfidfVectorizer(min_df = 1,lowercase = False, ngram_range = (1,1), use_idf = True, stop_words='english')
X = vectorizer.fit_transform(sample\['lead_lead_source_modified'\])
X = X.toarray()
distortions=\[\]
K = range(1,10)
for k in K:
    kmeanModel = KMeans(n_clusters=k).fit(X)
    kmeanModel.fit(X)
    distortions.append(sum(np.min(cdist(X, kmeanModel.cluster_centers_, 'euclidean'), axis=1)) / X.shape\[0\])

#append cluster labels

km = KMeans(n_clusters=4, random_state=0)
km.fit_transform(X)
cluster_labels = km.labels_
cluster_labels = pd.DataFrame(cluster_labels, columns=\['ClusterLabel_lead_lead_source'\])
cluster_labels

通过肘法，我决定了4个集群。我现在有集群标签，但我不确定如何将它们添加到其各自索引上的数据框中。由于索引问题，沿axis = 1连接正在创建Nans。下面是连接后的示例输出。

    lead_lead_source_modified   ClusterLabel_lead_lead_source
0   NaN                          3.0
1   NaN                          0.0
2   NaN                          0.0
3   ['direct', 'salesline', 'website', '']  0.0

我想知道这种方法是否正确，如果是，那么如何解决这个问题。如果没有，有没有更好的办法。

【参考方案1】：

在数据帧转换期间添加索引值解决了这个问题。

但它仍然想知道这是否是正确的方法

【讨论】：

- 你在数据帧转换过程中添加了什么索引值？

你能详细回答这个问题吗？我正在尝试做类似的事情