数据挖掘之建模过程

Posted 2021-02-06 wangzhonghan

1.定义挖掘目标
定义挖掘目标即是指要在开始挖掘前，明确挖掘的目的，要达到什么效果？比如对于用户网上看视频，我们想做的可能是对视频进行关联分析或协同过滤，向用户推荐下一部视频；对于商品或新闻下的评论，我们可能想做的是对评论进行情感分析，来判断新闻或商品的正负情感/好坏；对于旅游公司，我们可能想做的是查找黏度较大的用户，然后为其针对性的制定相关服务。

只有把挖掘目标定下来了，才能够针对性的进行数据取样、数据预处理、建立挖掘模型及给出评价标准。

2.数据取样
圈内有句奉为真理的传言“数据的质量决定其挖掘的高度”。因此在取样阶段，需从业务系统中抽取和此次目标相关的数据子集并保证数据完整无缺，需要注意的是：

数据取样无需动用企业的全部数据，要去粗取精，找出具有相关性、时效性、可靠性的数据。否则对于高维度的数据，容易造成维度冗灾，消耗了大量的处理时间和空间，得到的结果也未必尽如人意。

3.数据探索
经过数据取样拿到的数据还不能直接使用，原因是数据还比较粗糙，得经过一个预处理的阶段才能使用。

异常值处理
首先要做的是找出数据集中的异常值，即不合理的数据，也称为离群点。比如一个人的年龄的数值为-1，笔记本电脑的重量为1吨，都被视为异常值。 ps.异常值的判断和处理方法将在之后博客中书写

缺失值处理
找出异常值并处理后，接下来要做的是对缺失值进行处理。数据取样过程中并不能完全保证没有缺失值，因此我们得例行公事，把缺失的数据进行删除、填补或不予处理等操作，处理方法参见数据预处理之缺失值处理

数据集成
进行了以上两个操作之后，接下来要做的是对数据进行集成，即将取样的各个数据表统一到一张表中，并尽可能减少在集成过程中数据冗余的现象。

数据转换
之后，进行数据转换。我们获取的数据特征未必是建模需要的特征，换句话来说，我们拿到的数据特征可能转换一下形式，能使挖掘模型的最终得到的效果更好。比如，将样本中用户的年收入进行标准化，避免收入极差太大对算法的影响；数据离散化以适应特定的算法等。

属性规约和数据规约
进行数据转换后，接下来要做的两件事是属性规约和数据规约。即选出最能代表数据集的特征，剔除无用特征，然后选取部分代表性的样本进行数据建模。

挖掘建模
好啦，数据预处理工作告一段落，接下来就要进行挖掘建模。

挖掘模型有很多，大体能分为分类、聚类、回归、关联分析、时序分析、智能推荐等。挖掘模型的选取和挖掘目标相关，根据挖掘目标来选取挖掘模型。

4.模型评价
每个不同类别的模型评价标准也不一样。如对于分类来说，精确度、召回率、覆盖率很重要；对于聚类来说，有purity评价法、F值评价法、RI评价法等方法，这里就不一一赘述。

参考
《python数据分析与挖掘实战》
---------------------
作者：lonely_square_three
来源：CSDN
原文：https://blog.csdn.net/xzfreewind/article/details/77009644
版权声明：本文为博主原创文章，转载请附上博文链接！