数据挖掘七种常用的方法汇总

Posted 2021-04-27 架构师技术联盟

数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。这个定义包括几层含义：数据源必须是真实的、大量的、含噪声的；发现的是用户感兴趣的知识；发现的知识要可接受、可理解、可运用；并不要求发现放之四海皆准的知识，仅支持特定的发现问题。这里的知识一般指规则、概念、规律及模式等。

数据挖掘建模过程



定义挖掘目标

针对具体的数据挖掘应用需求，首先要非常清楚，本次挖掘的目标是什么？系统完成后能达到什么样的效果？因此我们必须分析应用领域，包括应用中的各种知识和应用目标。了解相关领域的有关情况，熟悉背景知识，弄清用户需求。要想充分发挥数据挖掘的价值，必须要对目标有一个清晰明确的定义，即决定到底想干什么。否则，很难得到正确的结果。

数据取样

数据采集前首要考虑的问题包括：哪些数据源可用，哪些数据与当前挖掘目标相关？如何保证取样数据的质量？是否在足够范围内有代表性？数据样本取多少合适？如何分类(训练集、验证集、测试集)等等。

在明确了需要进行数据挖掘的目标后，接下来就需要从业务系统中抽取一个与挖掘目标相关的样本数据子集。抽取数据的标准，一是相关性，二是可靠性，三是最新性。

进行数据取样一定要严把质量关，在任何时候都不要忽视数据的质量，即使是从一个数据仓库中进行数据取样，也不要忘记检查其质量如何。因为数据挖掘是探索企业运作的内在规律，原始数据有误，就很难从中探索规律性。

数据探索

当拿到一个样本数据集后，它是否达到我们原来设想的要求，其中有没有什么明显的规律和趋势，有没有出现从未设想过的数据状态，因素之间有什么相关性，它们可区分成怎样一些类别，这都是要首先探索的内容。数据探索和预处理的目的是为了保证样本数据的质量，从而为保证预测质量打下基础。数据探索包括：异常值分析、缺失值分析、相关分析、周期性分析、样本交叉验证等。

数据预处理和清洗

采样数据维度过大，如何进行降维处理，采用数据中的缺失值如何处理，这些都是数据预处理需要解决的问题。数据预处理主要包含如下内容：数据筛选，数据变量转换，缺失值处理，坏数据处理，数据标准化，主成分分析，属性选择等。

数据挖掘模式发现

样本抽取完成并经预处理后，接下来要考虑的问题是：本次建模属于数据挖掘应用中的哪类问题(分类、聚类、关联规则或者时序分析)，选用哪种算法进行模型构建？

模型构建的前提是在样本数据集中发现模式，比如关联规则、分类预测、聚类分析、时序模式等。在目标进一步明确化的基础上，我们就可以按照问题的具体要求来重新审视已经采集的数据，看它是否适合挖掘的需要。

针对挖掘目标的需要可能需要对数据进行增删，也可能按照对整个数据挖掘过程的新认识，要组合或者新生成一些新的变量，以体现对状态的有效的描述。在挖掘目标进一步明确，数据结构和内容进一步调整的基础上，下一步数据挖掘应采用的技术手段就更加清晰、明确了。

数据挖掘模型构建

模型构建是反映的是采样数据内部结构的一般特征，并与该采样数据的具体结构基本吻合。对于预测模型（包括分类与回归模型、时序预测模型）来说，模型的具体化就是预测公式，公式可以产生与观察值有类似结构的输出，这就是预测值。预测模型是多种多样的，可以适用于不同结构的样本数据。正确选择预测模型是数据挖掘很关键的一步，有时由于模型选择不当，造成预测误差过大，就需要改换模型。必要时，可同时采用几种预测模型进行运算以便对比、选择。对建立模型来说，要记住最重要的就是它是一个反复的过程，需要仔细考察不同的模型以判断哪个模型对解决问题最有效。

预测模型的构建通常包括模型建立、模型训练、模型验证和模型预测 4个步骤，但根据不同的数据挖掘分类应用会有细微的变化。

数据挖掘模型评价

评价的目的之一就是从这些模型中自动找出一个最好的模型来，另外就是要针对业务对模型进行解释和应用。预测模型评价和聚类模型的评价方法是不同的。

预测模型对训练集进行预测而得出的准确率并不能很好地反映分类模型未来的性能，为了能预测分类模型在新数据上的性能表现，需要一组没有参与分类模型建立的数据集，并在该数据集上评价分类器的准确率，这组独立的数据集就是测试集。这是一种基于验证的评估方法，常用的方法有保持法、随机二次抽样、自助法、交叉验证等。

聚类分群效果可以用向量数据之间的相似度来衡量，向量数据之间的相似度定义为两个向量之间的距离（实时向量数据与聚类中心向量数据），距离越近则相似度越大，即该实时向量数据归为某个聚类。

数据挖掘方法

利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等， 它们分别从不同的角度对数据进行挖掘。

分类

分类是找出数据库中一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到某个给定的类别。

它可以应用到客户的分类、客户的属性和特征分析、客户满意度分析、客户的购买趋势预测等，如一个汽车零售商将客户按照对汽车的喜好划分成不同的类，这样营销人员就可以将新型汽车的广告手册直接邮寄到有这种喜好的客户手中，从而大大增加了商业机会。

回归分析

回归分析方法反映的是事务数据库中属性值在时间上的特征，产生一个将数据项映射到一个实值预测变量的函数，发现变量或属性间的依赖关系，其主要研究问题包括数据序列的趋势特征、数据序列的预测以及数据间的相关关系等。

它可以应用到市场营销的各个方面，如客户寻求、保持和预防客户流失活动、产品生命周期分析、销售趋势预测及有针对性的促销活动等。

聚类

聚类分析是把一组数据按照相似性和差异性分为几个类别，其目的是使得属于同一类别的数据间的相似性尽可能大，不同类别中的数据间的相似性尽可能小。

它可以应用到客户群体的分类、客户背景分析、客户购买趋势预测、市场的细分等。

关联规则

关联规则是描述数据库中数据项之间所存在的关系的规则，即根据一个事务中某些项的出现可导出另一些项在同一事务中也出现，即隐藏在数据间的关联或相互关系。

在客户关系管理中，通过对企业的客户数据库里的大量数据进行挖掘，可以从大量的记录中发现有趣的关联关系，找出影响市场营销效果的关键因素，为产品定位、定价与定制客户群，客户寻求、细分与保持，市场营销与推销，营销风险评估和诈骗预测等决策支持提供参考依据。

特征分析

特征分析是从数据库中的一组数据中提取出关于这些数据的特征式，这些特征式表达了该数据集的总体特征。如营销人员通过对客户流失因素的特征提取，可以得到导致客户流失的一系列原因和主要特征，利用这些特征可以有效地预防客户的流失。

变化和偏差分析

偏差包括很大一类潜在有趣的知识，如分类中的反常实例，模式的例外，观察结果对期望的偏差等，其目的是寻找观察结果与参照量之间有意义的差别。在企业危机管理及其预警中，管理者更感兴趣的是那些意外规则。意外规则的挖掘可以应用到各种异常信息的发现、分析、识别、评价和预警等方面。

Web页挖掘

随着Internet的迅速发展及Web 的全球普及， 使得Web上的信息量无比丰富，通过对Web的挖掘，可以利用Web 的海量数据进行分析，收集政治、经济、政策、科技、金融、各种市场、竞争对手、供求信息、客户等有关的信息，集中精力分析和处理那些对企业有重大或潜在重大影响的外部环境信息和内部经营信息，并根据分析结果找出企业管理过程中出现的各种问题和可能引起危机的先兆，对这些信息进行分析和处理，以便识别、分析、评价和管理危机。

数据挖掘是一种决策支持过程，它通过高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。这对于一个企业的发展十分重要。