数据预处理之数据的特征缩放——sklearn实现

Posted 2022-03-11 serity

目录

• 前言
• 一、标准化（StandardScaler）
• 二、归一化（MinMaxScaler）
• 三、正则化（Normalizer）
• 四、绝对值最大标准化（MaxAbsScaler）
• 五、二值化（Binarizer）
• 参考

前言

在现实任务中，我们的数据集往往存在各种各样的问题，如果不对数据进行预处理，模型就无法得到有效的训练。

例如，对于神经网络而言，权重矩阵和阈值向量一般都是在 $(0,1)$ 范围内初始化。如果输入的特征向量的某些分量过大或过小，可能会导致神经网络无法学习到一些重要的特征，因此有必要对输入的向量进行特征缩放。

sklearn 中的 sklearn.preprocessing 中提供了数据预处理的相关函数，本文将主要围绕特征缩放来展开讲解。

一、标准化（StandardScaler）

设数据矩阵为

$$X=\left[\begin{array}{c}{\mathbf{x}}_1^{\mathrm{T}}\\ {\mathbf{x}}_2^{\mathrm{T}}\\ ⋮\\ {\mathbf{x}}_n^{\mathrm{T}}\end{array}\right]$$

其中 ${\mathbf{x}}_i=(x_{i1},x_{i2},\cdots ,x_{id}{)}^{\mathrm{T}}$ 为特征向量。

在进行下一步之前，我们有必要先引入数据矩阵的均值和标准差。

我们知道，对于数据向量 $\mathbf{a}=(a_1,\cdots ,a_n{)}^{\mathrm{T}}$ 而言（这里的向量可以理解成一组数据，之所以称之为向量，是为了方便后续的表述），其均值和标准差分别为：

$$\mu (\mathbf{a})=\frac{a_1+\cdots +a_n}{n},\sigma (\mathbf{a})={\left(\frac{1}{n}\Vert \mathbf{a}-\mathbf{\mu }(\mathbf{a}){\Vert }^2\right)}^{1/2},其中\mathbf{\mu }(\mathbf{a})=(\underset{n个}{\underbrace{\mu (\mathbf{a}),\cdots ,\mu (\mathbf{a})}}{)}^{\mathrm{T}}$$

我们将 $X$ 写成行向量的形式：$X=({\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_d)$，其中每个 ${\mathbf{a}}_i$ 均为列向量，因此

$$\begin{array}{rl}\mu (X)& =(\mu ({\mathbf{a}}_1),\mu ({\mathbf{a}}_2),\cdots ,\mu ({\mathbf{a}}_d){)}^{\mathrm{T}}\\ \sigma (X)& =(\sigma ({\mathbf{a}}_1),\sigma ({\mathbf{a}}_2),\cdots ,\sigma ({\mathbf{a}}_d){)}^{\mathrm{T}}\end{array}$$

设对 $X$ 进行标准化后得到 $Z$，利用 numpy 的广播机制，$Z$ 有如下形式

$$Z=({\mathbf{z}}_1,{\mathbf{z}}_2,\cdots ,{\mathbf{z}}_d),其中{\mathbf{z}}_i=\frac{{\mathbf{a}}_i-\mu ({\mathbf{a}}_i)}{\sigma ({\mathbf{a}}_i)},i=1,2,\cdots ,d$$

当然 $Z$ 可以更为简洁地表成

$$Z=\frac{X-\mu (X{)}^{\mathrm{T}}}{\sigma (X{)}^{\mathrm{T}}}$$

---

查看 $X$ 的均值，方差和标准差：

from sklearn.preprocessing import StandardScaler
import numpy as np

# 数据矩阵
X = np.array([
    [1, 3],
    [0, 1]
])
# 创建一个scaler实例并将数据传入该实例中
scaler = StandardScaler().fit(X)
# 查看X的的均值，方差和标准差
print(scaler.mean_)  # [0.5 2. ]
printsklearn工具-数据集变换

 Sklearn与特征工程
 使用sklearn做单机特征工程
 使用sklearn做单机特征工程
 使用sklearn做单机特征工程
 机器学习实战基础：sklearn中的数据预处理和特征工程 数据预处理 Preprocessing & Impute 之 处理分类特征：处理连续性特征 二值化与分段