数据挖掘流程

Posted 2021-01-22 zhiliang9408

以京东购买预测为例，讲述数据挖局一般流程：

数据挖掘流程：

（一）、数据清洗

　　1、数据集完整性验证

　　2、数据集中是否存在缺失值

　　3、数据集中各特征数值应该如何处理

　　4、哪些数据使我们想要的，哪些是可以过滤掉的

　　5、将有价值数据信息做成新的数据源

　　6.去除无行为交互的商品和用户

　　7、去掉浏览量很大而购买量很少的用户（惰性用户或者爬虫用户）

（二）、数据理解与分析

　　1、掌握 各个特征的含义

　　2、观察数据有哪些特点，是否可以利用来建模

　　3、可视化展示便于分析

　　4、用户的购买意向是否随时间等因素变化

（三）、特征提取（特征工程）

　　1、基于清洗后的数据集哪些特征是有价值的

　　2、分别对用户与商品以其之间构成的行为进行 特征提取

　　3、行为因素中哪些是核心？如何提取？

　　4、瞬时行为特征or累计行为特征？

（四）、模型建立

　　1、使用机器学习算法进行预测

　　2、参数设置与调节

　　3、数据集切分？