k-means的时间复杂度是多少？

Posted 2023-03-12

【中文标题】k-means的时间复杂度是多少？

【英文标题】：What is the time complexity of k-means?

【发布时间】：2013-09-09 03:49:28

【问题描述】：

我正在通过k-means Wikipedia page。基于算法，​​我认为复杂度是O(n*k*i)（n = 总元素，k = 集群迭代次数）

那么有人可以解释一下***的这句话吗？这个 NP 有多难？

如果k和d（维度）固定，问题就可以及时准确的解决O(n<sup>dk+1</sup> log n)，其中n是要聚类的实体个数。

【参考方案1】：

这取决于你所说的k-意思。

寻找k-means目标函数的全局最优问题

是NP-hard，其中S<sub>i</sub>是簇i（并且有k簇），x<sub>j</sub>是簇d中的d维点S<sub>i</sub>和μ<sub>i</sub>是簇S<sub>i</sub> 的质心（点的平均值）。

但是，对于n（d-维）点，运行固定数量的 t 迭代 standard algorithm 只需要 O(t*k*n*d)，其中 k 是质心（或集群）的数量）。这就是实际实现所做的（通常在迭代之间随机重新启动）。

标准算法仅逼近上述函数的局部最优值，我见过的所有 k 均值算法也是如此。

【参考方案2】：

在this answer中，注意i用在k-means目标公式中，i用在k-means的时间复杂度分析中（即直到收敛所需的迭代次数）是不同。

【参考方案3】：

这个问题是 NP-Hard 问题，因为还有另一个众所周知的 NP-Hard 问题可以简化为（平面）k-means 问题。查看论文The Planar k-means Problem is NP-hard（由 Mahajan 等人撰写）了解更多信息。