数据探索 —— 数据质量分析

Posted 2023-05-08

参考技术A 数据质量分析是数据挖掘中数据准备过程的重要一环，是数据预处理的前提，也是数据挖掘分析结论有效性和准确性的基础，没有可信的数据，数据挖掘构建的模型将是空中楼阁。
数据质量分析的主要任务是检查原始数据中是否存在脏数据，脏数据一般是指不符合要求，以及不能直接进行响应分析的数据。在常见的数据挖掘工作中，脏数据包括如下内容：

数据的缺失主要包括记录的缺失和记录中某个字段信息的缺失，两者都会造成分析结果的不准确，以下从缺失值产生的原因及影响等方面展开分析。

（1）缺失值产生的原因

1）有些信息暂时无法获取，或者获取信息的代价太大。
2）有些信息是被遗漏的。可能是因为输入时认为不重要、忘记填写或对数据理解错误等一些人为因素而遗漏，也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的故障等非人为原因而丢失。
3）属性值不存在。在某些情况下，缺失值并不意味着数据有错误。对一些对象来说某些属性值不存在的，如一个未婚者的配偶姓名、一个儿童的固定收入等。

（2）缺失值的影响

1）数据挖掘建模将丢失大量的有用信息。
2）数据挖掘模型所表现出的不确定性更加显著，模型中蕴含的规律更难把握。
3）包含空值的数据会使建模过程陷入混乱，导致不可靠的输出。

（3）缺失值的分析
使用简单的统计分析，可以得到含有缺失值的属性的个数，以及每个属性的未缺失数、缺失数与缺失率等。

异常值分析是检验数据是否有录入错误以及含有不合常理的数据。忽视异常值的存在是十分危险的，不加剔除地把异常值包括进数据的计算分析过程中，对结果会产生不良影响；重视异常值的出现，分析其产生的原因，常常成为发现问题进而改进决策的契机。
异常值是指样本中的个别值，其数据明显偏离其余的观测值。异常值也称为离群点，异常值的分析也称为离群点分析。
（1）简单计量分析
可以先对变量做一个描述性统计，进而查看哪些数据是不合理的。最常用的统计量是最大值和最小值，用来判断这个变量的取值是否超出了合理的范围。如客户年龄的最大值为199岁，则该变量的取值存在异常。
（2）3σ原则
如果数据服从正态分布，在3σ原则下，异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值。在正态分布的假设下，距离平均值3σ之外的值出现的概率为P(|x-μ|>3σ)≤0.003，属于极个别小概率事件。
如果数据不服从正态分布，也可以用远离平均值的多少倍标准差来描述。
（3）箱型图分析
箱型图提供了识别异常值的一个标准：异常值通常被定义为小于QL-1.5IQR或大于Qu+1.5IQR的值。QL成为下四分位数，表示全部观察值中有四分之的数据取值比它小；Qu称为上四分位数，表示全部观察值中有四分之一的数据取值比它大；IQR称为四分位数间距，是上四分位数与下四分位数之差，其间包含了全部观察值的一半。
箱型图依据实际数据绘制，没有对数据作任何限制性要求（如服从某种特定的分布形式），它只是真实直观地表现数据分布的本来面貌；另一方面，箱型图判断异常值的标准以四分位数和四分位距为基础，四分位数具有一定的鲁棒性：多达25%的数据可以变得任意远而不会很大地扰动四分位数，所以异常值不能对这个标准施加影响。由此可见，箱型图识别异常值得结果比较客观，在识别异常值方面有一定的优越性。

在餐饮系统中的销量额数据可能出现缺失值和异常值，如下表所示：

分析餐饮系统日销售额数据可以发现，其中有部分数据是缺失的，但是如果数据记录和属性较多，使用人工分辨的方法就不切合实际，所以这里需要编写程序来检测出含有缺失值的记录和属性以及缺失率个数和缺失率。
在Python的Pandas库中，只需要读入数据，然后使用describe()函数就可以查看数据的基本情况。

运行结果如下：

其中count是非空数值，通过len(data)可以知道数据记录为201条，因此缺失值数为1。另外，提供的基本参数还有平均值（mean）、标准差（std）、最小值（min）、最大值（max）以及1/4、1/2、3/4分位数（25%、50%、75%）。更直观地展示这些数据，并且可以检测异常值的方法是使用箱型图。

运行程序，其结果为“缺失值个数为：1”，同时可以得到如上图所示的箱型图。
从图中可以看出，箱型图中超过上下界的7个销售额数据可能为异常值。结合具体业务可以把865、4060.3、4065.2归为正常值，将22、51、60、6607.4、9106.44归为异常值。最后确定过滤规则为：日销量在400以下5000以上则属于异常数据，编写过滤程序，进行后续处理。

数据不一致性是指数据的矛盾性、不相容性。直接对不一致的数据进行挖掘，可能会产生与实际相违背的挖掘结果。
在数据挖掘过程中，不一致数据的产生主要发生在数据集成过程中，这可能是由于从不同的数据源、对于重新存放的数据未能进行一致性造成的。例如，两张表中都存储了用户的电话号码，但在用户的电话号码发生改变时只更新了一张表中的数据，那么这两张表中就有了不一致的数据。

二 数据探索

1 数据质量分析

数据质量分析是数据预处理的前提，也是数据挖掘分析结论有效性和准确性的基础。其主要任务是检查原始数据中是否存在脏数据：

（1）缺失值

（2）异常值（outliers）

（3）不一致的值

（4）重复数据及含有特殊符号的数据

1.1 缺失值分析

1.2 异常值分析

异常值是指样本中数值明显偏离其余观测值的个别值，也称为离群点。

（1）简单统计量分析

先对变量做描述性统计，检查数据是否合理。常用的统计量是最大、最小值。

（2）3σ 原则

（3）箱型图分析

1.3 一致性分析

数据不一致是指数据中存在矛盾、不相容。

2 数据特征分析

2.1 分布分析

定量数据：频率分布表、频路分布直方图、茎叶图

定性分类数据：饼图、条形图

1. 定量数据的分布分析
   选择“组数”和“组宽”

（1）求极差

（2）确定组距与组数

（3）确定分点

（4）列出频率分布表

（5）绘制频率分布直方图

主要原则：

（1）各组间互斥

（2）各组必须包含所有数据

（3）各组组宽相等

1. 定性数据分布分析

对于定性变量，常根据变量的分类类型进行分组，可以采用饼图和条形图描述定性变量的分布。

2.2 对比分析

对比分析是指比较两个相互联系的指标，从数量上展示、说明研究对象规模、水平、速度，以及各种关系是否协调，适用于指标间的横纵向比较、时间序列比较分析。对比分析主要形式有：

（1）绝对数值比较：通过绝对数对比，寻找差异；

（2）相对数值比较：两个相关指标对比计算，以反映客观现象间数量联系程度的综合指标，其数值表现为相对数值。

相对数值分为：

结构相对数：计算同一总体内部分数值与全部数值间的比值，以说明事物的性质、结构或质量。

比例相对数：计算同一总体内不同部分间数值比值，表明总体内各部分的比例关系。

比较相对数：计算同一时期两个性质相同指标间的数值比值，说明同类现象在不同空间条件下数量对比关系。

强度相对数：计算两个性质不同但有相关性的总量指标间的比值，以说明现象的强度、密度和普遍程度。

计划完成程度相对数：某时期内实际完成数与计划完成数的比值，以说明计划完成程度

动态相对数：同一现象在不同时期的指标间的数值比值，以说明发展方向和变化速度。

2.3 统计量分析

用统计指标对定量数据进行统计描述，常从集中趋势和离中趋势两个方面进行分析。

平均水平指标是对个体集中趋势的度量，主要有均值和中位数

反映变异程度的指标是对个体离开平均水平的度量，主要有标准差（方差）、四分位间距。

1. 离中趋势度量
   （1）极差

极差 = 最大值 - 最小值

极差对数据集的极端值非常敏感，且忽略了最大值与最小值之间的数据分布。

（2）标准差

标准差度量数据偏离均值的程度

（4）四分位数间距

四分位数包括上四分位数和下四分位数。将所有数据排序并按数量分成四等份，位于第一分割点的数值为下四分位数，第二个分割点（中间位置）的数值为中位数，第三个分割点的数值为上四分位数。

2.4 周期性分析

周期性分析是探索某个变量是否随着时间变化而呈现周期性变化趋势。

时间尺度相对较长的周期性趋势有年度周期性趋势、季节性周期趋势；相对较短的有月度周期性趋势、周度周期性趋势；甚至更短的天、小时周期性趋势

2.5 贡献度分析

贡献度分折又称帕累托分析，其原理为帕累托法则，又称20/80定律。同样的投入放在不同地方会产生不同的效益。

2.6 相关性分析

相关分析：分析连续变量间线性相关程度，并用适当的统计指标表示的的过程

1. 绘制散点图

判断两个变量是否相关最直观的方法是绘制散点图。

1. 绘制散点图矩阵

需要同时考察多个变量间的相关性时，可采用散点图矩阵同时绘制各变量间的散点图，其在多元线性回归问题中尤为重要。

1. 计算相关系数

通过计算相关系数，能够准确描述变量间的线性相关程度。二元变量相关性分析中常用Pearson相关系数、Spearman秩相关系数和判定系数。

3 Python数据探索数数

3.1 基本统计特征函数

统计量函数用于计算数据的均值、方差、标准差、分位数、相关系数、协方差……等，这些统计量能反映出数据的整体分布。

3.2 拓展统计特征函数

3.3 统计作图函数

箱形图可以表示多个样本的均值；误差条形图能同时显示下限误差和上限误差：最小二乘拟合曲线图能分析两变量间的关系。