sklearn.mixture.DPGMM:意外结果
Posted
技术标签:
【中文标题】sklearn.mixture.DPGMM:意外结果【英文标题】:sklearn.mixture.DPGMM: Unexpected results 【发布时间】:2012-10-09 06:10:39 【问题描述】:我从 DPGMM 得到的结果不是我所期望的。例如:
>>> import sklearn.mixture
>>> sklearn.__version__
'0.12-git'
>>> data = [[1.1],[0.9],[1.0],[1.2],[1.0], [6.0],[6.1],[6.1]]
>>> m = sklearn.mixture.DPGMM(n_components=5, n_iter=1000, alpha=1)
>>> m.fit(data)
DPGMM(alpha=1, covariance_type='diag', init_params='wmc', min_covar=None,
n_components=5, n_iter=1000, params='wmc',
random_state=<mtrand.RandomState object at 0x108a3f168>, thresh=0.01,
verbose=False)
>>> m.converged_
True
>>> m.weights_
array([ 0.2, 0.2, 0.2, 0.2, 0.2])
>>> m.means_
array([[ 0.62019109],
[ 1.16867356],
[ 0.55713292],
[ 0.36860511],
[ 0.17886128]])
我预计结果会更类似于原版 GMM;也就是说,两个高斯(大约值 1 和 6),权重不均匀(如 [0.625, 0.375])。我预计“未使用”的高斯函数的权重接近于零。
我是否错误地使用了模型?
我也尝试过更改 alpha,但没有任何运气。
【问题讨论】:
您使用 0.12 版本的任何具体原因? 【参考方案1】:与 sklearn 的 0.14.1 版差别不大。我将使用以下代码打印 DPGMM 模型:
def pprint(model, data):
idx = np.unique(model.predict(data))
m_w_cov = [model.means_, model.weights_, model._get_covars()]
flattened = map(lambda x: np.array(x).flatten(), m_w_cov)
filtered = map(lambda x: x[idx], flattened)
print np.array(filtered)
此函数过滤掉冗余(空)组件,即那些未用于预测的组件,并打印均值、权重和协变量。
如果对 OP 问题的数据进行多次尝试,可以找到两种不同的结果:
>>> m = sklearn.mixture.DPGMM(n_components=5, n_iter=1000, alpha=1).fit(data)
>>> m.predict(data)
array([0, 0, 0, 0, 0, 1, 1, 1])
>>> pprint(m, data)
[[ 0.62019109 1.16867356]
[ 0.10658447 0.19810279]
[ 1.08287064 12.43049771]]
和
>>> m = sklearn.mixture.DPGMM(n_components=5, n_iter=1000, alpha=1).fit(data)
>>> m.predict(data)
array([1, 1, 1, 0, 1, 0, 0, 0])
>>> pprint(m, data)
[[ 1.24122696 0.64252404]
[ 0.17157736 0.17416976]
[ 11.51813929 1.07829109]]
然后可以猜测,意外结果的原因在于一些中间结果(在我们的例子中为 1.2)在类之间迁移,并且方法无法推断出正确的模型参数。一个原因是集群参数 alpha 对于我们的集群来说太大了,每个集群只包含 3 个元素,我们可以通过减少这个参数来更好地尝试,0.1
会得到更稳定的结果:
>>> m = sklearn.mixture.DPGMM(n_components=5, n_iter=1000, alpha=.1).fit(data)
>>> m.predict(data)
array([1, 1, 1, 1, 1, 0, 0, 0])
但根本原因在于 DPGMM 方法的随机性,在小簇的情况下该方法无法推断模型结构。如果我们将观察结果扩展 4 次,情况会变得更好,并且方法的行为也更符合预期:
>>> m = sklearn.mixture.DPGMM(n_components=5, n_iter=1000, alpha=1).fit(data*4)
>>> pprint(m, data)
[[ 0.90400296 5.46990901]
[ 0.11166431 0.24956023]
[ 1.02250372 1.31278926]]
总之,请注意方法拟合参数,并注意某些 ML 方法在小数据集或倾斜数据集的情况下效果不佳。
【讨论】:
以上是关于sklearn.mixture.DPGMM:意外结果的主要内容,如果未能解决你的问题,请参考以下文章
PHP:array_uintersect()意外的输入参数[重复]