聚类算法DBSCAN算法及其Python实现

Posted 2022-05-20 快乐江湖

文章目录

• 一：DBSCAN算法
• • （1）快速入门BCSCAN算法
  • （2）算法简介
  • • A：基本概念
    • B：直接密度可达、密度可达、密度相连
  • （3）算法流程
  • • A：流程
    • B：演示
  • （4）Python实现
  • （5）聚类效果展示
• 二：DBSCAN算法探讨
• • （1）算法优缺点
  • • A：优点
    • B：确定
  • （2）参数选择
  • • A：参数选择原则（快速）
    • B：调参方法

一：DBSCAN算法

（1）快速入门BCSCAN算法

如下是一组未被聚类的数据

可以用肉眼进行大致划分

• 绿色为第一类
• 蓝色为第二类
• 灰色为离群点

这种非凸数据是无法用K-Means算法进行区分的，如果使用则效果会是这样

而本节的DBSCAN算法可以解决这个问题。DBSCAN算法通过密度来识别簇

• 簇通常位于高密度区域
• 离群值通常位于低密度区域

---

核心点是DBSCAN算法中非常重要的点，一个点是否能够成为核心点关键在于该点周围的临近点个数是否大于等于某个$r$值（称为半径，需要自己提前设定）

• 例如下图，定义这个$r$值为4，那么第1-4个点可以作为核心点，但第5-6个点不可以

接着，我们挑选这组数据的所有核心点和非核心点

---

然后在核心点中随机选取一个并标记为绿色，然后把该绿色点周围的所有核心点都加入到该簇中，也标记为绿色

然后对其他绿色点执行重复操作

在处理时，如果同时喷到了核心点和非核心点，则暂时只把核心点加入其中

依据这个策略，进行扩展

---

然后处理非核心点。如下对于这个非核心点，其周围存在属于第一个簇的核心点，所以他可以并入

但是该非核心点上面的那个点现在就不可以并入了，或者说这就是它的边界

按照这个规则把所有非核心点并入，第一个簇完毕

（2）算法简介

A：基本概念

基本概念：DBSCAN全称为Density-Based Spatial Clustering of Applications with Noise，也即基于密度的带有噪声点的聚类方法。该算法将具有足够密度的区域划分为簇，并在具有噪声的空间数据中发现任意形状的簇，它将簇定义为密度相连的点的最大集合；在DBSCAN算法中将数据点分为以下3类

• 核心点： 如果一个对象在其半径Eps内含有超过MinPts数目的点，则该对象为核心点
• 边界点： 如果一个对象在其半径Eps内含有点的数量小于MinPts，但是该对象落在核心点的邻域内，则该对象为边界点
• 噪声点： 如果一个对象既不是核心点也不是边界点，则该对象为噪声点

其中Eps和MinPtS是DBSCAN算法中的两个重要参数

• Eps：定义密度时的邻域半径
• MinPts：定义核心点时的阈值

如下图所示，假设MinPts设置为5，箭头表示Eps范围，则：

• $A$是核心点：因为在其Eps邻域内有7个点
• $B$是边界点：因为它落在了$A$的Eps邻域内
• $B$是噪声点：没有落在任何核心点的邻域内

B：直接密度可达、密度可达、密度相连

直接密度可达：如果点$p$在核心点$q$的$Eps$邻域内，则称数据对象$p$从数据对象$q$出发是直接密度可达的

• 注意是$p$直接可达$q$，但不能是$q$直接可达$p$，除非$q$也是核心点

密度可达：如果存在数据对象链($p_1$, $p_2$, … , $p_n$ , $p_{n+1}$)，其中$p_{i+1}$是从$p_i$关于$Eps$和$MinPts$直接密度可达的，则称数据对象$p_n$是从数据对象$p_1$关于$Eps$和$MinPts$密度可达的

• 实际上直接密度可达的“传播”

密度相连：若从某核心点$p$出发，点$q$和点$k$都是密度可达的，那么$q$和$k$就是密度相连的

如下图：

• 左图：点$a$为核心点，点$b$为边界点，所以$a$直接密度可达$b$（但$b$不直接可达$a$，$b$不是核心点）
• 右图： $c$直接密度可达$a$，$a$直接密度可达$b$，所以$c$密度可达$b$

（3）算法流程

A：流程

DBSCAN输入为

• 参数$D$：输入的数据集
• 参数$\epsilon$：邻域半径
• 参数$MinPts$：密度阈值

其中$\epsilon$和$MinPts$这两个参数的选择非常重要，选择时可以参考如下方法，但是在实际使用时通常时多次尝试即可

• $\epsilon$：可以根据距 $K$距离来设定，找出 突变点（$K$距离：对于给定的数据集$P$=$p_1,p_2,...,p_n$，计算点$p(i)$到数据集$D$的子集$S$中所有点之间的距离，距离按从小到大的顺序排序，则$d(k)$就称之为$K距离$）
• $MinPts$：一般情况下小一点合适

算法流程如下，整体来说还是很容易理解的

B：演示

现在以下面的样本数据为例，演示DBSCAN算法工作流程

• $\epsilon$= 3
• $MinPts$ = 3

步骤①： 顺序扫描数据集样本点，首先取到$p1(1,2)$

1. 计算每一点到$p1$的距离，例如$d(p1,p2)=1.414$
2. 根据每个样本点到$p1$的距离和所设邻域$\epsilon$= 3，得到$p1$的$Eps$邻域为$p1,p2,p3,p13$
3. 所设$Minpts$=3，而$p1$的$Eps$邻域有4个点，所以$p1$为核心点
4. 因此以$p1$为核心点建立簇$C_1$，找出所有从$p1$密度可达的点（$p1$邻域内的点都是$p1$直接密度可达的点，所以都属于$C_1$）
5. $p2$的邻域为$(p1,p2,p3,p4,p13)$，且$p1$直接密度可达$p2$、$p2$直接密度可达$p4$，所以$p1$密度可达$p4$，因此$p4$也属于$C_1$
6. $p3$、$p4$、$p13$也是核心点，其其邻域的点已经都在以上是关于聚类算法DBSCAN算法及其Python实现的主要内容，如果未能解决你的问题，请参考以下文章

   聚类分析二：DBSCAN算法

   DBSCAN聚类算法

   机器学习--聚类系列--DBSCAN算法

   java 实现DBScan聚类算法

   初探DBSCAN聚类算法

   DBSCAN算法