二 数据探索

Posted 2022-08-31 persist0701

1 数据质量分析

数据质量分析是数据预处理的前提，也是数据挖掘分析结论有效性和准确性的基础。其主要任务是检查原始数据中是否存在脏数据：

（1）缺失值

（2）异常值（outliers）

（3）不一致的值

（4）重复数据及含有特殊符号的数据

1.1 缺失值分析

1.2 异常值分析

异常值是指样本中数值明显偏离其余观测值的个别值，也称为离群点。

（1）简单统计量分析

先对变量做描述性统计，检查数据是否合理。常用的统计量是最大、最小值。

（2）3σ 原则

（3）箱型图分析

1.3 一致性分析

数据不一致是指数据中存在矛盾、不相容。

2 数据特征分析

2.1 分布分析

定量数据：频率分布表、频路分布直方图、茎叶图

定性分类数据：饼图、条形图

1. 定量数据的分布分析
   选择“组数”和“组宽”

（1）求极差

（2）确定组距与组数

（3）确定分点

（4）列出频率分布表

（5）绘制频率分布直方图

主要原则：

（1）各组间互斥

（2）各组必须包含所有数据

（3）各组组宽相等

1. 定性数据分布分析

对于定性变量，常根据变量的分类类型进行分组，可以采用饼图和条形图描述定性变量的分布。

2.2 对比分析

对比分析是指比较两个相互联系的指标，从数量上展示、说明研究对象规模、水平、速度，以及各种关系是否协调，适用于指标间的横纵向比较、时间序列比较分析。对比分析主要形式有：

（1）绝对数值比较：通过绝对数对比，寻找差异；

（2）相对数值比较：两个相关指标对比计算，以反映客观现象间数量联系程度的综合指标，其数值表现为相对数值。

相对数值分为：

结构相对数：计算同一总体内部分数值与全部数值间的比值，以说明事物的性质、结构或质量。

比例相对数：计算同一总体内不同部分间数值比值，表明总体内各部分的比例关系。

比较相对数：计算同一时期两个性质相同指标间的数值比值，说明同类现象在不同空间条件下数量对比关系。

强度相对数：计算两个性质不同但有相关性的总量指标间的比值，以说明现象的强度、密度和普遍程度。

计划完成程度相对数：某时期内实际完成数与计划完成数的比值，以说明计划完成程度

动态相对数：同一现象在不同时期的指标间的数值比值，以说明发展方向和变化速度。

2.3 统计量分析

用统计指标对定量数据进行统计描述，常从集中趋势和离中趋势两个方面进行分析。

平均水平指标是对个体集中趋势的度量，主要有均值和中位数

反映变异程度的指标是对个体离开平均水平的度量，主要有标准差（方差）、四分位间距。

1. 离中趋势度量
   （1）极差

极差 = 最大值 - 最小值

极差对数据集的极端值非常敏感，且忽略了最大值与最小值之间的数据分布。

（2）标准差

标准差度量数据偏离均值的程度

（4）四分位数间距

四分位数包括上四分位数和下四分位数。将所有数据排序并按数量分成四等份，位于第一分割点的数值为下四分位数，第二个分割点（中间位置）的数值为中位数，第三个分割点的数值为上四分位数。

2.4 周期性分析

周期性分析是探索某个变量是否随着时间变化而呈现周期性变化趋势。

时间尺度相对较长的周期性趋势有年度周期性趋势、季节性周期趋势；相对较短的有月度周期性趋势、周度周期性趋势；甚至更短的天、小时周期性趋势

2.5 贡献度分析

贡献度分折又称帕累托分析，其原理为帕累托法则，又称20/80定律。同样的投入放在不同地方会产生不同的效益。

2.6 相关性分析

相关分析：分析连续变量间线性相关程度，并用适当的统计指标表示的的过程

1. 绘制散点图

判断两个变量是否相关最直观的方法是绘制散点图。

1. 绘制散点图矩阵

需要同时考察多个变量间的相关性时，可采用散点图矩阵同时绘制各变量间的散点图，其在多元线性回归问题中尤为重要。

1. 计算相关系数

通过计算相关系数，能够准确描述变量间的线性相关程度。二元变量相关性分析中常用Pearson相关系数、Spearman秩相关系数和判定系数。

3 Python数据探索数数

3.1 基本统计特征函数

统计量函数用于计算数据的均值、方差、标准差、分位数、相关系数、协方差……等，这些统计量能反映出数据的整体分布。

3.2 拓展统计特征函数

3.3 统计作图函数

箱形图可以表示多个样本的均值；误差条形图能同时显示下限误差和上限误差：最小二乘拟合曲线图能分析两变量间的关系。