数据分析之数据预处理

Posted 2022-04-22 一计之长

本文给大家介绍数据分析中一个基础也是比较核心关键的环节——数据预处理，这是我们在做数据分析时候的最重要的前提，如果这步要是处理的很好的话，在后期的数据分析的环节中会很顺畅的，并且分析出来的结论也是很准确的。因此这个环节至关重要的。

数据预处理其实严格的说是在数据分析之前的一个环节，当我们从数据库或者其他途径获取到数据之后，接下来的环节不是马上对数据进行数据分析的。因为总有一些数据不是完整的或者不是我们业务所需要的，这写不需要的数据就是我们经常提到的“脏数据”。这个时候，我们就需要在做数据分析之前对数据进行相应的预处理，即把这些“脏数据”做一定的处理。首先我们介绍的是数据的无量钢化。

一、数据无量钢化

在机器学习算法的实践中，我们往往有着将不同规格的数据规格转换到同一规格，或不同分布的数据转换到某个特定分布的需求，这种需求就是我们经常提到的将数据进行“无量钢化”。正如梯度和矩阵为核心的算法中，对于逻辑回归(Logistic Regression，LR)、支持向量机(Support Vector Machine, SVM)、神经网络(Neural Networks, NN)，无量钢化可以加快求解速度；而在距离类模型，比如K近邻，k-Means聚类中，无量钢化可以帮助我们提升模型精度，避免某一个取值范围特别大的特征对距离计算造成的影响。这里有一个使用无量钢化处理特别成熟的领域——在决策树和树的集成算法们，对决策树我们不需要无量钢化，决策树可以把任意数据处理的都很好的。

数据的无量钢化可以是线性的，也可以是非线性的。线性的无量钢化包括中心化(Zero-centered或者Mean-subtraction)处理和缩放处理(Scale)。其实中心化的本质就是让所有的记录减去一个固定好的值，即让数据样本数据平移到某个位置。缩放的本质是通过除以一个固定值，将数据固定在某个范围之中，取对数也算是一种缩放处理。

1、数据归一化

当数据(x)按照最小值中心化后，再按极差(最大值-最小值)缩放，数据就移动了最小值个单位，并且会被收敛到[0-1]之间，而这个过程我们就叫做数据归一化(Normalization，又称Min-Max Scaling)。这里需要我们注意的是：Normalization是归一化并不是正则化，其实真正的正则化是regularization。不是数据预处理的一种手段。具体的数据归一化公式如下：

我们通过代码来事项数据的简单归一化，具体实现如下：

import numpy as np
import pandas as pd
data = [[-1, 2], [-0.5, 6], [0, 10], [1, 18]]
x = np.array(data)
print(x)
# 实现numpy来实现归一化
x_nor = (x - x.min(axis=0)) / (x.max(axis=0) - x.min(axis=0))
print(x_nor)
# 逆转归一化
x_returned = x_nor * (x.max(axis=0) - x.min(axis=0)) + x.min(axis= 0)
print(x_returned)
# 使用pandas来实现归一化
x_pandas = pd.DataFrame()
# 使⽤pandas来实现归⼀化
x_normor =  (x - x.min()) / (x.max() - x.min())
print(x_normor)
#逆转归⼀化
x_adverse = x_normor * (x.max() - x.min()) + x.min()
print(x_adverse)

具体的执行结果如下：

在sklearn工具中，我们使用​​preprocessing.MinMaxScaler​​​来是现在这个功能。​​MinMaxScaler​​​有一个重要的参数，​​feature_range​​——控制我们希望把数据压缩到一定的范围，其中默认是[0,1]。具体实现如下：

from sklearn.preprocessing import MinMaxScaler
data = [[-1, 2], [-0.5, 6], [0, 10], [1, 18]]
#实现归⼀化
scaler = MinMaxScaler()   # 实例化
scaler = scaler.fit(data) #fit，在这⾥本质是⽣成min(x)和max(x)
result = scaler.transform(data) #通过接⼝导出结果
print(result)
result_ = scaler.fit_transform(data) #训练和导出结果⼀步达成
scaler.inverse_transform(result) #将归⼀化后的结果逆转
#使⽤MinMaxScaler的参数feature_range实现将数据归⼀化到[0,1]以外的范围中
scaler_1 = MinMaxScaler(feature_range=[5,10]) #依然实例化
result_1 = scaler.fit_transform(data) #fit_transform⼀步导出结果
print(result_1)

具体代码的执行结果如下：

2、数据标准化

当数据(x)按均值(μ)中心化后，再按标准差(δ)缩放，数据就变成满足均值为0，方差为1的分布，而这个过程就叫做数据标准化(Standardization，又称Z-score normalization)，具体公式如下：

同样地，我们也可以通过​​sklearn​​​中​​preprocessing.StandardScaler模块​​可以实现这一功能。具体实现如下：

from sklearn.preprocessing import StandardScaler
data = [[-1, 2], [-0.5, 6], [0, 10], [1, 18]]
scaler = StandardScaler() #实例化
print(scaler.fit(data)) #fit，本质是⽣成均值和⽅差
print(scaler.mean_) #查看均值的属性mean_
print(scaler.var_) #查看⽅差的属性var_
x_std = scaler.transform(data) #通过接⼝导出结果
print(x_std.mean()) #导出的结果是⼀个数组，⽤mean()查看均值
print(x_std.std()) #⽤std()查看⽅差
print(scaler.fit_transform(data)) # 使⽤fit_transform(data)⼀步达成结果
print(scaler.inverse_transform(x_std)) #使⽤inverse_transform逆转标准化

具体执行结果如下：

我们刚才介绍的是通过​​sklearn​​​中​​preprocessing.StandardScaler模块​​​实现了数据的归一化以及标准化。但是对于​​StandardScaler​​​和​​MinMaxScaler​​​来说，​​空值NaN​​会被当做是缺失值，在fit的时候忽略。在transform的时候保持缺失NaN的状态显示。并且，尽管去量纲化过程不是具体的算法，但在fit接口中，依然只允许导入至少二维数组，一维数组导入会报错。通常来说，我们输入的X会是我们的特征矩阵，但是在现实案例中特征矩阵不太可能是⼀维所以不会存在这个问题。

我们刚才在进行代码实现的时候，我们同时引用了sklearn中的​​StandardScaler​​​和​​MinMaxScaler​​​，那么这两个我们一般在解决实际问题的时候应该如何选择呢？其实这需要看情况的，具体问题其实需要具体分析的。大多数机器学习算法中，会选择​​StandardScaler​​​来进行特征缩放，因为​​MinMaxScaler​​​对异常，值非常敏感。在PCA，聚类，逻辑回归，支持向量机，神经网络这些算法中，StandardScaler往往是最好的选择。MinMaxScaler在不涉及距离度量、梯度、协方差计算以及数据需要被压缩到特定区间时使用广泛，比如，数字图像处理中量化像素强度时，都会使用​​MinMaxScaler​​将数据压缩于[0,1]区间之中。这个时候建议先试试看StandardScaler，效果不好换MinMaxScaler。

除了​​StandardScaler​​​和​​MinMaxScaler​​​之外，​​sklearn​​​中也提供了各种其他缩放处理（中心化只需要一个pandas广播一下减去某个数就好了，因此​​sklearn​​​不提供任何中心化功能）。比如，在希望压缩数据，却不影响数据的稀疏性时（不影响矩阵中取值为0的个数时），我们会使用​​MaxAbsScaler​​​；在异常值多，噪声非常大时，我们可能会选择分位数来无量纲化，此时使用​​RobustScaler​​。

二、缺失值处理

机器学习和数据挖掘中所使用的数据，永远不可能是完美的。很多特征，对于分析和建模来说意义非凡，但对于实际收集数据的人却不是如此，因此数据挖掘之中，常常会有重要的字段缺失值很多，但是不能舍弃字段的情况。因此，数据预处理中非常重要的一项就是处理缺失值。

我们通过​​pandas​​​来实现这一缺失值的处理，再实现之前，我们首先创建一个名为​​Narrativedata.csv​​的数据文件，具体内容如下：

为了方便大家练习，大家也需要在自己电脑上创建这么一个名字一样的文件，数据可以随便造，但是标题一定要一模一样，否则会报错的。将创建好的文件放到我们代码同一级目录，本人放置的位置如下：

都准备好数据和文件的前提下，我们接着去实现相应的代码，具体实现如下：

import pandas as pd
data = pd.read_csv("Narrativedata.csv")
print(data.head())

具体执行的结果如下：

在这里，我们需要解释一下数据的来源，该数据是从一个特别经典的《泰坦尼克号》提取出来的数据，这个数据有三个特征，一个数值型，两个字符型，标签也是字符型。（数据说明：Embarked指乘客登船港⼝，S是英国的Southampton，C是法国的Cherbourg，Q是爱尔兰的Queens town）从这里开始，我们就使用这个数据给大家作为例子，让大家慢慢熟悉sklearn中数据预处理的各种方式。

首先就是​​impute.SimpleImputer​​，具体源码是这样的：

class sklearn.impute.SimpleImputer (missing_values=nan, strategy=’mean’, 图像归一化

 数据标准化（归一化）处理
 2.1对 特征归一化 的一些理解
 数据归一化和两种常用的归一化方法
 数据归一化和两种常用的归一化方法
 数据归一化的两种常用方法