数据分析

Posted 2021-02-13 berlinss

一、常用的统计量：

　　 均值mean()、中位数median()、众数mode()、分位数（上侧分位数、下侧分位数、四分位间距）

　　 ————四分位间距的求法：df[df<上界][df>下界] （上界：上侧分位数+K*四分位间距; 下界：上侧分位数+K*四分位间距）  k指的是允许的形变

　　 方差var()， 偏态系数skew()，峰态系数kurt()， 正态分布

二、数据预处理

1、数据的标准化（normalization）和归一化：

　 数据的标准化（normalization）是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。其中最典型的就是数据的归一化处理，即将数据统一映射到[0,1]区间上。

 

       目前数据标准化方法有多种，归结起来可以分为直线型方法(如极值法、标准差法)、折线型方法(如三折线法)、曲线型方法(如半正态性分布)。不同的标准化方法，对系统的评价结果会产生不同的影响，然而不幸的是，在数据标准化方法的选择上，还没有通用的法则可以遵循。

2、缺失值处理：

　　第一步：明确缺失数据的重要性，如果对目标值的预测不重要，直接删除改变量，如果很重要，第一种方法通常采用能够处理缺失数据的算法进行建模(如：基于决策树的模型)，第二种方法是缺失值填充。

　　缺失值填充的常用方法：

• 使用平均值合作中位数填充
• 使用k近邻进行填充

　　k近邻进行填充：假设样本X_i的第j个变量缺失记为x_ij，目标就是要估计x_ij，首先利用x_i中没有缺失的变量，找到最相识的k个样本，并用这k个样本的第j个变量的平均值作为x_ij的估计值，缺失算法填充对主要的控制参数k不敏感