聚类-层次聚类（谱系聚类）算法

Posted 2022-12-04 吾仄lo咚锵

文章目录

• 简介
• 距离矩阵
• 最短距离法
• 最长距离法
• 类平均法
• 重心法
• python应用

简介

---

层次聚类（Hierarchical Clustreing）又称谱系聚类，通过在不同层次上对数据集进行划分，形成树形的聚类结构。很好体现类的层次关系，且不用预先制定聚类数，对大样本也有较好效果。

算法步骤：

1. 计算类间距离矩阵
2. 初始化n个类，将每个样本视为一类
3. 在距离矩阵中选择最小的距离，合并这两个类为新类
4. 计算新类到其他类的距离，得到新的距离矩阵
5. 重复3-4步，直至最后合并为一个类

首先介绍距离矩阵的计算，然后第4步有不同的算法来定义新类到其他类的距离，包括：最短距离法、最长距离法、类平均法、重心法等。

距离矩阵

---

使用距离来作为样品间的相似性度量，往往常用欧氏距离。

比如给定数据：

x1	x2	x3
2	4	7
5	8	7
4	6	6

该数据包含特征x1、x2和x3，第一个样品[2,4,7]，第二个样品[5,8,7]，第三个样品[4,6,6]，将每个样品各看作一类，$G_i=i,i=1,2,3,4$。
根据欧式距离：
$$d(x_i,x_j)=[\sum _{k=1}^p(x_{ik}-x_{jk}{)}^2{]}^{\frac{1}{2}}$$

$D_{12}=D_{21}=\sqrt{(2-5{)}^2+(4-8{)}^2+(7-7{)}^2}=5$
$D_{13}=D_{31}=\sqrt{(2-4{)}^2+(4-6{)}^2+(7-6{)}^2}=3$
$D_{23}=D_{32}=\sqrt{(5-4{)}^2+(8-6{)}^2+(7-6{)}^2}=\sqrt{6}\approx 2.5$

也就是距离矩阵D为：

	$G_1$	$G_2$	$G_3$
$G_1$	0
$G_2$	5	0
$G_3$	3	2.5	0

由于是对称矩阵，给出下三角即可。

除了欧式距离，也可使用其他距离公式。或者使用相关系数来度量，越接近1表示越相关，计算相关系数矩阵。

最短距离法

---

设类$G_r$由$G_p,G_q$合并得来，包含$n_r=n_p+n_q$个样品，最短距离法：
$$D_{rk}=min{D}_{pd},D_{qk}$$
在上述矩阵$D$中，$D_{23}=2.5$最小，也就是合并$G_2$和$G_3$为新类$G_4=2,3$

用最短距离法，计算新类到其他类距离：
$D_{41}=min{D}_{21},D_{3,1}=min5,3=3$

得到新的距离矩阵D’为：

	$G_1$	$G_4$
$G_1$	0
$G_4$	3	0

重复上述步骤，在D’中合并取$D_{14}=3$最小，合并类 G 1 G_1