K 表示使用 Mahout 进行聚类

Posted 2023-03-12

【中文标题】K 表示使用 Mahout 进行聚类

【英文标题】：K Means Clustering using Mahout

【发布时间】：2012-01-06 12:22:26

【问题描述】：

我正在使用here 给出的聚类技术对大型数据集进行聚类，这在 Mahout 示例中给出。但是，当我可视化特定的聚类时，我会得到下图。

我真的很难理解这实际上意味着什么，并且有几个问题。

所有彩色线条表示什么？ 这么多集群是什么意思？ 为什么少数区域拥挤，而其他区域不拥挤？ 为什么很少有彩色线条相互重叠？

【参考方案1】：

k-means 不是最先进的聚类技术。圆圈作为一种可视化技术具有误导性，它实际上是将数据空间划分为 Voronoi 单元（在 Wikipedia 上查找）。它也喜欢类似大小的集群。

我假设不同的颜色表示 k-means 的不同迭代。它需要多次运行来优化其结果（通常只达到局部最小值，不同的运行会导致不同的结果）。所以结果还不是很稳定，我猜。它们只是缓慢地移动，这就是它们没有太多重叠的原因。

聚类数是 k-means 的一个参数。它通常表示为k。 k-means 无法确定聚类的数量，但如果您使用多个 k 值运行它，您可以测试哪个结果最适合数据集。

k-means 不考虑密度。为此，您需要一个基于密度的聚类算法。 k-means 更喜欢类似大小的集群。你的“k”可能太高了。

由于它们是迭代更新的，因此不同的迭代不应过多重叠。