聚类——Kmeans

Posted jwcz

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了聚类——Kmeans相关的知识,希望对你有一定的参考价值。

Clustering

聚类K-means

  聚类是机器学习和数据挖掘领域的主要研究方向之一,它是一种无监督学习算法,小编研究生时期的主要研究方向是“数据流自适应聚类算法”,所以对聚类算法有比较深刻的理解,于是决定开一个专题来写聚类算法,希望可以为入门及研究聚类相关算法的读者带来帮助。聚类可以作为一个单独的任务,用于寻找数据内在分布结构,也经常作为其他学习任务的前驱过程,应用十分广泛。今天,小编就带你探索聚类算法的奥秘,并介绍第一个聚类算法Kmeans。

Q:什么是聚类?

A:聚类是按照某一种特定的标准(相似性度量,如欧式距离等),把一个数据集分割成不同的类,使得同一个类中的数据对象的相似性尽可能大,不同类之间的差异性也尽可能大,如下图是一个聚类结果的可视化:

    聚类有非常广泛的应用,比如根据消费记录发现不同的客户群,对基因表达进行聚类可以研究不同种群中的基因特征,对文本进行聚类可以快速找出相关主题的文章等。

Q:如何度量相似性?

A:常用的相似性度量方式主要有以下几种:

  • 欧式距离:技术图片

  • Minkowoski距离:技术图片

  • 曼哈顿距离:技术图片

  • 余弦距离:技术图片

  • Jaccard相似系数:技术图片

  • 相关系数:技术图片

Q:常用的聚类算法有哪些?

A:

  • 基于划分的聚类:k-means,mean shift

  • 层次聚类:BIRCH

  • 密度聚类:DBSCAN

  • 基于模型的聚类:GMM

  • Affinity propagation

  • 谱聚类

    上面的这些算法只是简单的引入聚类的概念,在接下来的专题中,我们将具体探讨经典的聚类算法,研究它们的原理,分析优缺点,应用场景等。今天,我们就来学习最经典的一个聚类算法Kmeans

K-means

Kmeans聚类原理

    Kmeans算法的思想很简单,根据给定样本集中样本间距离的大小将样本集划分为k个簇(类),使得每个点都属于距离它最近的那个聚类中心(即均值means)对应的类。之所以叫kmenas是因为它可以发现k(用户指定)个簇且簇中心用属于该簇的数据的均值来表示。

Kmeans聚类算法

     数据集合X={x1,...xn}中每个样本都是d维无标签数据,kmeans聚类的目标是将这n个点分到k个簇使得簇内点到簇中心点(均值)的距离平方和最小,即求下列目标函数的最优解

  其中μi就是簇Si中点的均值。   

    然而解上式并不是一个简单的问题,因为它是一个NP难问题,所以kmeans算法采用一种启发式的迭代求解方法:

    首先随机选择k个对象作为初始的聚类中心,然后计算每个样本到各个聚类中心的距离,并分配给距离它最近的聚类中心。一旦对象全都被分配了,重新计算每个簇的中心(均值)作为下一次迭代的新的中心点。这一过程将重复进行直到满足下列任一条件:

  • 没有对象被重新分配给新的类;

  • 聚类中心不再发生变化;

  • 误差平方和局部最小。

Tips:

  • k值的选择:一般来说我们可以根据数据的先验选择一个合适的k,如果不行,则可以通过交叉验证选择合适的k;

  • 初始化k个中心点:可以随机选择,也可以每次选择距离其他中心点尽可能远的点作为中心;

Kmeans++算法

  前面我们也提到了K个初始化中心的选择对聚类算法的运行结果和时间有很大影响,Kmeans++算法提出了对随机化初始化聚类中心的优化:

  1. 从输入的数据点集合中随机选择一个点作为第一个聚类中心μ1;

  2. 对于数据集中的每一个点xi,计算它与已选择的聚类中心最近的一个的距离D(xi);

  3. 选择D(xi)较大的点作为新的聚类中心;

  4. 重复b,c直到找出k个聚类中心; 

Kmeans算法小结

优点:

  • 原理简单,实现简单,收敛速度快;

  • 聚类效果比较好;

  • 可解释性强,直观;

  • 只有一个参数k;

缺点:

  • k的选择对聚类效果影响较大;

  • 对于不是凸的数据集比较难收敛;

  • 类别不均衡数据集聚类效果不好;

  • 结果局部最优;

  • 对噪声点敏感;

  • 聚类结果是球形。

小结:

    今天是聚类算法学习的第一部分,内容虽然简单但是很重要,kmeans算法常常作为其他算法的基础,如之前的半监督学习以及之后会讲的谱聚类算法都会用到。相信今天的学习你一定也有了收获,聚类专题的下一篇内容是谱聚类,敬请期待!

扫码关注

获取有趣的算法知识

以上是关于聚类——Kmeans的主要内容,如果未能解决你的问题,请参考以下文章

KMeans算法分析以及实现

使用 KMeans 时为每个质心获取超过 2 个坐标

谱聚类算法总结

聚类方法的区别解读:各种聚类分析

Kmeans聚类定义KMeans聚类的步骤Kmeans聚类常见问题及改进Kmeans聚类的变形Kmeans聚类的优缺点

层次聚类:确定最佳聚类数并统计描述聚类