数据挖掘的常用方法功能和一个聚类分析应用案例

Posted 2021-04-27 数据猿

作者：天善智能社区用户 xjh_buaa

前言

在前面两篇的博文学习笔记中，笔者分别分享了关于BI的基础概念和几种数据挖掘的流程。在今天的博文中，笔者整理了数据挖掘的常用方法和数据挖掘的重要功能（出自MBA智库百科）。当然，横看成岭侧成峰，这些常用方法和重要功能也许并不完全正确或完整。除此以外，笔者尝试学习了SMARTBI公司中的Smart Mining软件，并跟随其提供的示例教程进行了学习。为方便阅读，将其示例教程结合自己的体会作为文章的第三部分。

一、数据挖掘的常用方法

利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等，它们分别从不同的角度对数据进行挖掘。

1. 分类。分类是找出数据库中一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到某个给定的类别。它可以应用到客户的分类、客户的属性和特征分析、客户满意度分析、客户的购买趋势预测等，如一个汽车零售商将客户按照对汽车的喜好划分成不同的类，这样营销人员就可以将新型汽车的广告手册直接邮寄到有这种喜好的客户手中，从而大大增加了商业机会。

2. 回归分析。回归分析方法反映的是事务数据库中属性值在时间上的特征，产生一个将数据项映射到一个实值预测变量的函数，发现变量或属性间的依赖关系，其主要研究问题包括数据序列的趋势特征、数据序列的预测以及数据间的相关关系等。它可以应用到市场营销的各个方面，如客户寻求、保持和预防客户流失活动、产品生命周期分析、销售趋势预测及有针对性的促销活动等。

3. 聚类。聚类分析是把一组数据按照相似性和差异性分为几个类别，其目的是使得属于同一类别的数据间的相似性尽可能大，不同类别中的数据间的相似性尽可能小。它可以应用到客户群体的分类、客户背景分析、客户购买趋势预测、市场的细分等。

4. 关联规则。关联规则是描述数据库中数据项之间所存在的关系的规则，即根据一个事务中某些项的出现可导出另一些项在同一事务中也出现，即隐藏在数据间的关联或相互关系。在客户关系管理中，通过对企业的客户数据库里的大量数据进行挖掘，可以从大量的记录中发现有趣的关联关系，找出影响市场营销效果的关键因素，为产品定位、定价与定制客户群，客户寻求、细分与保持，市场营销与推销，营销风险评估和诈骗预测等决策支持提供参考依据。

5. 特征。特征分析是从数据库中的一组数据中提取出关于这些数据的特征式，这些特征式表达了该数据集的总体特征。如营销人员通过对客户流失因素的特征提取，可以得到导致客户流失的一系列原因和主要特征，利用这些特征可以有效地预防客户的流失。

6. 变化和偏差分析。偏差包括很大一类潜在有趣的知识，如分类中的反常实例，模式的例外，观察结果对期望的偏差等，其目的是寻找观察结果与参照量之间有意义的差别。在企业危机管理及其预警中，管理者更感兴趣的是那些意外规则。意外规则的挖掘可以应用到各种异常信息的发现、分析、识别、评价和预警等方面。

7. Web页挖掘。随着Internet的迅速发展及Web 的全球普及， 使得Web上的信息量无比丰富，通过对Web的挖掘，可以利用Web 的海量数据进行分析，收集政治、经济、政策、科技、金融、各种市场、竞争对手、供求信息、客户等有关的信息，集中精力分析和处理那些对企业有重大或潜在重大影响的外部环境信息和内部经营信息，并根据分析结果找出企业管理过程中出现的各种问题和可能引起危机的先兆，对这些信息进行分析和处理，以便识别、分析、评价和管理危机。

二、数据挖掘的功能

数据挖掘通过预测未来趋势及行为，做出前摄的、基于知识的决策。数据挖掘的目标是从数据库中发现隐含的、有意义的知识，主要有以下五类功能。

1. 自动预测趋势和行为：数据挖掘自动在大型数据库中寻找预测性信息，以往需要进行大量手工分析的问题如今可以迅速直接由数据本身得出结论。一个典型的例子是市场预测问题，数据挖掘使用过去有关促销的数据来寻找未来投资中回报最大的用户，其它可预测的问题包括预报破产以及认定对指定事件最可能做出反应的群体。

2. 关联分析：数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之间存在某种规律性，就称为关联。关联可分为简单关联、时序关联、因果关联。关联分析的目的是找出数据库中隐藏的关联网。有时并不知道数据库中数据的关联函数，即使知道也是不确定的，因此关联分析生成的规则带有可信度。

3. 聚类：数据库中的记录可被化分为一系列有意义的子集，即聚类。聚类增强了人们对客观现实的认识，是概念描述和偏差分析的先决条件。聚类技术主要包括传统的模式识别方法和数学分类学。80年代初，Michalski提出了概念聚类技术，其要点是，在划分对象时不仅考虑对象之间的距离，还要求划分出的类具有某种内涵描述，从而避免了传统技术的某些片面性。

4. 概念描述：概念描述就是对某类对象的内涵进行描述，并概括这类对象的有关特征。概念描述分为特征性描述和区别性描述，前者描述某类对象的共同特征，后者描述不同类对象之间的区别。生成一个类的特征性描述只涉及该类对象中所有对象的共性。生成区别性描述的方法很多，如决策树方法、遗传算法等。

5. 偏差检测：数据库中的数据常有一些异常记录，从数据库中检测这些偏差很有意义。偏差包括很多潜在的知识，如分类中的反常实例、不满足规则的特例、观测结果与模型预测值的偏差、量值随时间的变化等。偏差检测的基本方法是，寻找观测结果与参照值之间有意义的差别。

三、数据挖掘实例 - 聚类分析应用之市场细分

聚类是将数据分类到不同的类或者簇这样的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。

从统计学的观点看，聚类分析是通过数据建模简化数据的一种方法。传统的统计聚类分析方法包括系统聚类法、分解法、加入法、动态聚类法、有序样品聚类、有重叠聚类和模糊聚类等。

从机器学习的角度讲，簇相当于隐藏模式。聚类是搜索簇的无监督学习过程。与分类不同，无监督学习不依赖预先定义的类或带类标记的训练实例，需要由聚类学习算法自动确定标记，而分类学习的实例或数据对象有类别标记。聚类是观察式学习，而不是示例式的学习。

从实际应用的角度看，聚类分析是数据挖掘的主要任务之一。而且聚类能够作为一个独立的工具获得数据的分布状况，观察每一簇数据的特征，集中对特定的聚簇集合作进一步地分析。聚类分析还可以作为其他算法（如分类和定性归纳算法）的预处理步骤。

聚类分析的核心思想就是物以类聚，人以群分。在市场细分领域，消费同一种类的商品或服务时，不同的客户有不同的消费特点，通过研究这些特点，企业可以制定出不同的营销组合，从而获取最大的消费者剩余，这就是客户细分的主要目的。在销售片区划分中，只有合理地将企业所拥有的子市场归成几个大的片区，才能有效地制定符合片区特点的市场营销战略和策略。金融领域，对基金或者股票进行分类，以选择分类投资风险。

下面以一个汽车销售的案例来介绍聚类分析在市场细分中的应用。

商业目标

业务理解：数据名称《汽车销售.csv》。该案例所用的数据是一份关于汽车的数据，该数据文件包含销售值、订价以及各种品牌和型号的车辆的物理规格。订价和物理规格可以从 edmunds.com 和制造商处获得。定价为美国本土售价。如下：

表1：数据视图

业务目标：对市场进行准确定位，为汽车的设计和市场份额预测提供参考。

数据挖掘目标：通过聚类的方式对现有的车型进行分类。

 

数据准备

通过数据探索对数据的质量和字段的分布进行了解，并排除有问题的行或者列优化数据质量。

第一步，我们使用统计节点审核数据的质量，从审核结果中我们发现存在缺失的数据，如下图所示：

第二步，对缺失的数据进行处理，我们选择使用缺失填充节点删除这些记录。配置如下：

建模

我们选择层次聚类进行分析，尝试根据各种汽车的销售量、价格、引擎、马力、轴距、车宽、车长、制动、排量、油耗等指标对其分类。

因为层次聚类不能自动确定分类数量，因此需要我们以自定义的方式规定最后聚类的类别数。层次聚类节点配置如下（默认配置）：

可以使用交互表或者右击层次聚类节点查看聚类的结果，如下图所示：

再使用饼图查看每个类的大小，结果如下：

从图中可见，分成的三个类样本数差异太大，cluster_0和cluster_1包含的样本数都只有1，这样的分类是没有意义的，因此需要重新分类。我们尝试在层次聚类节点的配置中指定新的聚类方法：完全。新的聚类样本数分布如下：

cluster_0、 cluster_1、cluster_2的样本数分别为：50、9、93。

执行后输出树状/冰柱图，可以从上往下看，一开始是一大类，往下走就分成了两类，越往下分的类越多，最后细分到每一个记录是一类，如下所示：

我们可以再使用条形图查看每类的销售量、平均价格，如下图所示：

每类总销量分布图

每类平均销量分布图

每类平均价格分布图

我们再看一下每类的销售额分布情况。首先，我们需要使用Java代码段节点或者派生节点生成销售额字段，配置如下：

再使用饼图查看销售额分布情况，cluster_0、 cluster_1、cluster_2的市场份额分别为：32.39%、0.53%和67.08%，如下图所示：

案例小结

通过这个案例，大家可以发现聚类分析确实很简单。进行聚类计算后，主要通过图形化探索的方式评估聚类合理性，以及在确定聚类后，分析每类的特征。

个人体会

这是笔者第一次按照AOSP-SM方法来进行数据挖掘，虽然因为无法得到示例中的数据而更多的对教程进行了理论上的分析和体会，但是通过自己部分的操作感受到了Smart Mining软件的人性化和功能强大。聚类与分类的不同之处在于，聚类所要求划分的类是未知的。简易的聚类分析是一种相对简单而有十分实用的方法，如果使用得当，将会在市场细分、媒体分级和异常诊断等多个问题中发挥巨大的作用。

（在原示例教程基础上略有改动，原文网址为：http://wiki.smartbi.com.cn/pages/viewpage.action?pageId=17958354）

注：本文正文部分均已注明出处，发布仅作学习笔记以供学习之用。

四、小结

通过今天的学习分享，我们对数据挖掘有了进一步的认识，并尝试进行了第一次实际操作。虽然对于数据挖掘的了解仍然处于一个比较低级的层次，但笔者相信，通过不断地努力与探索，我们可以越来越深入的感受到数据挖掘的魅力。

更多有关商业智能BI、数据分析、数据挖掘和大数据类的原创文章尽在天善智能社区 www.flybi.net