浅谈sklearn中的数据预处理

Posted 2022-06-15 raelum

目录

• 前言
• 一、标准化（StandardScaler）
• 二、归一化（MinMaxScaler）
• 三、正则化（Normalizer）
• 四、绝对值最大标准化（MaxAbsScaler）
• 五、二值化（Binarizer）

前言

sklearn 中的 sklearn.preprocessing 中提供了数据预处理的相关函数，本文将主要围绕特征缩放来展开讲解。

一、标准化（StandardScaler）

设数据矩阵为

$$X=\left[\begin{array}{c}{\mathbf{x}}_1^{\mathrm{T}}\\ {\mathbf{x}}_2^{\mathrm{T}}\\ ⋮\\ {\mathbf{x}}_n^{\mathrm{T}}\end{array}\right]$$

其中 ${\mathbf{x}}_i=(x_{i1},x_{i2},\cdots ,x_{id}{)}^{\mathrm{T}}$ 为特征向量。

在进行下一步之前，我们有必要先引入数据矩阵的均值和标准差。

我们知道，对于数据向量 $\mathbf{a}=(a_1,\cdots ,a_n{)}^{\mathrm{T}}$ 而言（这里的向量可以理解成一组数据，之所以称之为向量，是为了方便后续的表述），其均值和标准差分别为：

$$\mu (\mathbf{a})=\frac{a_1+\cdots +a_n}{n},\sigma (\mathbf{a})={\left(\frac{1}{n}\Vert \mathbf{a}-\mathbf{\mu }(\mathbf{a}){\Vert }^2\right)}^{1/2},其中\mathbf{\mu }(\mathbf{a})=(\underset{n个}{\underbrace{\mu (\mathbf{a}),\cdots ,\mu (\mathbf{a})}}{)}^{\mathrm{T}}$$

我们将 $X$ 写成行向量的形式：$X=({\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_d)$，其中每个 ${\mathbf{a}}_i$ 均为列向量，因此

$$\begin{array}{rl}\mu (X)& =(\mu ({\mathbf{a}}_1),\mu ({\mathbf{a}}_2),\cdots ,\mu ({\mathbf{a}}_d){)}^{\mathrm{T}}\\ \sigma (X)& =(\sigma ({\mathbf{a}}_1),\sigma ({\mathbf{a}}_2),\cdots ,\sigma ({\mathbf{a}}_d){)}^{\mathrm{T}}\end{array}$$

设对 $X$ 进行标准化后得到 $Z$，利用 numpy 的广播机制，$Z$ 有如下形式

$$Z=({\mathbf{z}}_1,{\mathbf{z}}_2,\cdots ,{\mathbf{z}}_d),其中{\mathbf{z}}_i=\frac{{\mathbf{a}}_i-\mu ({\mathbf{a}}_i)}{\sigma ({\mathbf{a}}_i)},i=1,2,\cdots ,d$$

当然 $Z$ 可以更为简洁地表成

$$Z=\frac{X-\mu (X{)}^{\mathrm{T}}}{\sigma (X{)}^{\mathrm{T}}}$$

---

查看 $X$ 的均值，方差和标准差：

from sklearn.preprocessing import StandardScaler
import numpy as np

# 数据矩阵
X = np.array([
    [1, 3],
    [0, 1]
])
# 创建一个scaler实例并将数据传入该实例中
scaler = StandardScaler().fit(X)
# 查看X的的均值，方差和标准差
print(scaler.mean_)  # [0.5 2. ]
print(scaler.var_)  # [0.25 1.  ]
print(scaler.scale_)  # [0.5 1. ]

之所以标准差为 scale_，是因为标准差控制着我们数据的缩放程度。需要注意的是，如果数据矩阵的某一列方差为 $0$，则 scale_ 为 $以上是关于浅谈sklearn中的数据预处理的主要内容，如果未能解决你的问题，请参考以下文章$

sklearn-preprocessing预处理数据的方法

机器学习- Sklearn (交叉验证和Pipeline)

浅谈PipelineDB系列一: Stream数据是如何写到Continuous View中的

预处理数据的方法总结（使用sklearn-preprocessing）

数据归一化和其在sklearn中的处理

将多个预处理步骤应用于 sklearn 管道中的列