数据精简之（数据值精简和字段的精简）

Posted 2020-12-13 liyuewdsgame

一、数据精简之数值精简

•1. 数据值精简的需求
　　• 原始数据中存在太细、过于底层的数据数值，对于许多数据挖掘方法而言，将无法从中找出层次较高、趋势导向的知识
• 2.类别型数据数值精简
　　• 数据一般化(Data Generalization)
• 3.连续型数据数值精简
　　• 数据离散化(Data Discretization)

二、数据精简之字段精简

• 在做数据挖掘之前，将所有的字段做分析，并选择重要且具有区分能力的字段做为输入，是相当重要的
• 因为如果将不重要的字段也输入至系统中，除了拉长系统学习的时间，增加系统的复杂度外，系统的正确率也会受到一定程度的影响

• 如何判断字段的重要性
　　• 专家的经验及直觉
　　• 自动化的分析方法
　　　　• 如为分类模型可用统计检定的技术来加以判断
　　　　• 如为预测模型可用皮尔森相关系数来加以判断
　　　　• 如为分群模型可利用主成份分析及因素分析来加以判断