吴恩达机器学习-8-聚类知识

Posted 2021-06-06 尤尔小屋的猫

公众号：尤而小屋
作者：Peter
编辑：Peter

吴恩达机器学习-8-聚类

本周的主要知识点是无监督学习中的两个重点：聚类和降维。本文中首先介绍的是聚类中的K均值算法，包含：

• 算法思想
• 图解K-Means
• sklearn实现
• Python实现

无监督学习unsupervised learning

无监督学习简介

聚类和降维是无监督学习方法，在无监督学习中数据是没有标签的。

比如下面的数据中，横纵轴都是$x$，没有标签（输出$y$）。在非监督学习中，我们需要将一系列无标签的训练数据，输入到一个算法中，快速这个数据的中找到其内在数据结构。

无监督学习应用

• 市场分割
• 社交网络分析
• 组织计算机集群
• 了解星系的形成

聚类

聚类clustering

聚类试图将数据集中的样本划分成若干个通常是不相交的子集，称之为“簇cluster”。聚类可以作为一个单独过程，用于寻找数据内部的分布结构，也能够作为其他学习任务的前驱过程。聚类算法涉及到的两个问题：性能度量和距离计算

性能度量

聚类性能度量也称之为“有效性指标”。希望“物以类聚”。聚类的结果是“簇内相似度高”和“簇间相似度低”。

常用的外部指标是：

1. Jaccard 系数
2. FM 系数
3. Rand 系数

上述3个系数的值都在[0,1]之间，越小越好

常用的内部指标是：

1. DB指数
2. Dunn指数

DBI的值越小越好，Dunn的值越大越好。

距离计算

$x_i,x_j$的$L_p$的距离定义为：

$$L_p(x_i,x_j)=(\sum _{l=1}^n|x_i^{(l)}-x_j^{(l)}{|}^p{)}^{\frac{1}{p}}$$

规定：$p\ge 1$，常用的距离计算公式有

• 当$p=2$时，即为欧式距离，比较常用，即：

$$L_2(x_i,x_j)=(\sum _{l=1}^n|x_i^{(l)}-x_j^{(l)}{|}^2{)}^{\frac{1}{2}}$$

• 当$p=1$时，即曼哈顿距离，即：

$$L_1(x_i,x_j)=\sum _{l=1}^n(|x_i^{(l)}-x_j^{(l)}|)$$

• 当$p$趋于无穷，为切比雪夫距离，它是各个坐标距离的最大值：

$$L_{\infty }(x_i,x_j)=\underset{l}{\max }|x_i^{(l)}-x_j^{(l)}|$$

余弦相似度

余弦相似度的公式为：

$$\cos (\theta )=\frac{x^{T}y}{|x|\cdot |y|}=\frac{{\sum }_{i=1}^n{x}_i{y}_i}{\sqrt{{\sum }_{i=1}^n{x}_i^2}\sqrt{{\sum }_{i=1}^n{y}_i^2}}$$

Pearson皮尔逊相关系数

皮尔逊相关系数的公式如下：

ρ X Y = cov ⁡ ( X , Y ) σ X σ Y = E [ ( X − μ X ) ( Y − μ Y ) ] σ X σ Y = ∑ i = 1 n ( x − μ X ) ( y − μ Y ) ∑ i = 1 n ( x − μ X ) 2 ∑ i = 1 n ( y − μ Y ) 2 \\rho_{X Y}=\\frac{\\operatorname{cov}(X, Y)}{\\sigma_{X} \\sigma_{Y}}=\\frac{E\\left[\\left(X-\\mu_{X}\\right)\\left(Y-\\mu_{Y}\\right)\\right]}{\\sigma_{X} \\sigma_{Y}}=\\frac{\\sum_{i=1}^{n}\\left(x-\\mu_{X}\\right)\\left(y-\\mu_{Y}\\right)}{\\sqrt{\\sum_{i=1}^{n}\\left(x-\\mu_{X}\\right)^{2}} \\sqrt{\\sum_{i=1}^{n}\\left(y-\\mu_{Y}\\right)^{2}}} ρXY​=σX​σY​cov(X,Y)​=以上是关于吴恩达机器学习-8-聚类知识的主要内容，如果未能解决你的问题，请参考以下文章

吴恩达《机器学习》课程总结(13)_聚类

吴恩达-coursera-机器学习-week8

机器学习- 吴恩达Andrew Ng Week8 知识总结 Clustering

吴恩达机器学习学习笔记——1.5无监督学习

Machine Learning（吴恩达＜一＞）

速通版吴恩达机器学习笔记Part1