在 scikit DBSCAN 中查找每个集群内的元素?

Posted

技术标签:

【中文标题】在 scikit DBSCAN 中查找每个集群内的元素?【英文标题】:Finding elements inside every cluster in scikit DBSCAN? 【发布时间】:2014-05-22 08:03:01 【问题描述】:

我正在尝试探索 Scikit DBSCAN。有件事我想知道。我怎样才能知道每个集群中的点。

此代码是 scipy 网站中的example:

import numpy as np

from sklearn.cluster import DBSCAN
from sklearn import metrics
from sklearn.datasets.samples_generator import make_blobs
from sklearn.preprocessing import StandardScaler


##############################################################################
# Generate sample data
centers = [[1, 1], [-1, -1], [1, -1]]
X, labels_true = make_blobs(n_samples=750, centers=centers, cluster_std=0.4,
                            random_state=0)

X = StandardScaler().fit_transform(X)

##############################################################################
# Compute DBSCAN
db = DBSCAN(eps=0.3, min_samples=10).fit(X)
core_samples = db.core_sample_indices_
labels = db.labels_

# Number of clusters in labels, ignoring noise if present.
n_clusters_ = len(set(labels)) - (1 if -1 in labels else 0)

print('Estimated number of clusters: %d' % n_clusters_)
print("Homogeneity: %0.3f" % metrics.homogeneity_score(labels_true, labels))
print("Completeness: %0.3f" % metrics.completeness_score(labels_true, labels))
print("V-measure: %0.3f" % metrics.v_measure_score(labels_true, labels))
print("Adjusted Rand Index: %0.3f"
      % metrics.adjusted_rand_score(labels_true, labels))
print("Adjusted Mutual Information: %0.3f"
      % metrics.adjusted_mutual_info_score(labels_true, labels))
print("Silhouette Coefficient: %0.3f"


         % metrics.silhouette_score(X, labels))
        ##############################################################################
    #Modification I am doing 
    print labels 
    print labels[0]

unique_labels = set(labels)

for k in unique_labels:
    class_members = [index[0] for index in np.argwhere(labels == k)]
    #cluster_core_samples = [index for index in core_samples if labels[index] == k]

    print class_members[0]

    for index in class_members:
        x = X[index]
    print x

看来我需要找个算法来逆向工程

StandardScaler().fit_transform(X)

DBSCAN 的 scipy 实现在 DBSCAN Code - DBSCAN Test Unit 上介绍

我想打印三个簇和属于每个簇的点。

更新

当我尝试运行 inverse_transform() 函数时,我在行出现错误

文件“/Users/macbook/anaconda/lib/python2.7/site-packages/sklearn/preprocessing/data.py”,第 384 行,inverse_transform

您可以在此处找到代码: https://github.com/scikit-learn/scikit-learn/blob/master/sklearn/preprocessing/data.py

        if self.with_std:
            X *= self.std_
        if self.with_mean:
            X += self.mean_

这是我得到错误的地方。有什么想法可以解决这个问题吗?

【问题讨论】:

【参考方案1】:

看来我需要找到一种逆向工程的算法

标准缩放器().fit_transform(X)

sklearn 中的数据转换是“可逆的”(如果它们不是有损的),您应该存储您的缩放器对象。

s = StandardScaler()
X = s.fit_transform(X)

然后如果您想检索未缩放的版本

X = s.inverse_transform(X)

关于评论

Standard Scaler 可以很好地双向转换数据。

>>> from sklearn.preprocessing import StandardScaler
>>> import numpy as np
>>> x = np.array( [[1.0,2.0],[0.0,-4.0]])
>>> s = StandardScaler()
>>> x
array([[ 1.,  2.],
       [ 0., -4.]])
>>> a=s.fit_transform(x)
>>> a
array([[ 1.,  1.],
       [-1., -1.]])
>>> s.inverse_transform(a)
array([[ 1.,  2.],
       [ 0., -4.]])
>>> 

【讨论】:

我收到此错误消息:文件“/Users/macbook/anaconda/lib/python2.7/site-packages/sklearn/preprocessing/data.py”,第 384 行,inverse_transform X * = self.std_ AttributeError: 'StandardScaler' 对象没有属性 'std_' 您之前运行过X = s.fit_transform(X) 吗?必须先安装它,然后才能将数据转换回来。 是的!我做到了。我也重新安装了lib,但仍然面临同样的问题 当我添加 StandardScaler(with_std=False,with_mean=False).inverse_transform(x) 。它成功了,我是否也应该添加这个 StandardScaler(with_std=False,with_mean=False).fit_transform 以及使 std 和 mean 为假有多糟糕

以上是关于在 scikit DBSCAN 中查找每个集群内的元素?的主要内容,如果未能解决你的问题,请参考以下文章

Python:使用 scikit-learn 的 dbscan 进行字符串聚类,使用 Levenshtein 距离作为度量:

在 DBSCAN 中找到每个集群中出现最多的位置

用scikit-learn学习DBSCAN聚类

用scikit-learn学习DBSCAN聚类

如何在 scikit-learn 中缩放输入 DBSCAN

Scikit 的 DBSCAN 聚类算法中的噪声样本是啥?