聚类算法——k均值聚类

Posted 2021-04-08 成理数模

聚类算法之k均值聚类

不/念/过/去    不/畏/将/来

聚类算法

俗话说:"物以类聚，人以群分"，在自然科学和社会科学中，存在着大量的分类问题。所谓类，通俗地说，就是指相似元素的集合。

聚类分析又称群分析，它是研究(样品或指标)分类问题的一种统计分析方法，同时也是数据挖掘的一个重要算法。

聚类分析有很多种，但其基本原则都是：希望族（类）内的相似度尽可能高，族（类）间的相似度尽可能低（相异度尽可能高）。下面，我们重点介绍K均值聚类。

K均值聚类

K-Means算法也称K-均值聚类算法，是一种广泛使用的聚类算法，也是其他聚类算法的基础。

假定输入样本为S = X1,X2,···，Xm,则算法步骤为： 

1. 选择初始的k个类别中心μ1μ2…μk

2. 对于每个样本Xi，将其标记为距离类别中心最近的类别（距离计算一般采用欧式距离） 

3. 将每个类别中心更新为隶属该类别的所有样本的均值 

4. 重复最后两步，直到类别中心的变化小于某阈值。

终止条件一般有迭代次数，族中心变化率，最小平方误差MSE （Minimum Squared Error）等。

它的迭代过程如下： 

算法缺陷：k个族心初始点需要提前设定好，但现实情况中，不同场景下的k个族质心往往相差很大，在k值不会太大，应用场景不明确是，可以通过迭代求解损失函数最小时对应的k值。不同的随机种子点得到的结果完全不同，看一下k=3得到的三种不同结果：

可以发现，即使k=3相同，但开始的情况不同，仍然有可能使得聚类不成功。第二张图就是聚类失败的例子。

文字编辑：数学建模宣传部何凤

图片来源：百度百科