聊聊 归一化和标准化

Posted 2020-11-20 xxiaolige

先扯闲篇儿~

一个同事曾遭遇这样的面试题：在机器学习建模时，如果某个特征的取值范围比其他特征大很多，该如何处理？

同事脱口而出：做归一化或标准化处理，把特征取值范围缩小。

面试官给出的答案是：不用处理，只不过机器学习时这个特征对应的系数会很小而已。

于是此君面试没过... orz

我此前在机器学习上的经验实在不多，这里简单搬运一下网上关于归一化和标准化的描述，日后有了新的认知再来更新。

 

归一化是把数据强行压缩到[0,1]区间内，一般的做法是采用min、max值，原数据是x，变换后的数据是 (x-min)/(max-min)。

标准化是把数据从现有分布强行变换到某些标准分布上，最常用的标准分布是(0,1)正态分布，对应的变换公式就是计算原数据的z-score，即 (x-mean(x))/std(x)。

 

目前我还没应用过这两个方法去处理数据，一个主要原因是某些机器学习算法不需要对数据做预处理，即使数据的量纲不同、取值范围不同，也不影响机器学习建模，比如随机森林和GBDT，而这些算法恰恰是最常用的算法。

单从概念上来理解一下二者。

其实文章开头的面试官说的没错，取值范围大就大，参数小一些就可以了。那为什么非要做变换呢？网上有一篇博文提到了收敛速度和精度，我没有实操验证过，不是很理解，这里先把博文地址留下，供日后参考阅读 https://www.cnblogs.com/pejsidney/p/8031250.html 。

归一化和标准化都存在一个问题，就是可能会改变原始数据的分布，进而影响机器学习的效果。比如，特征X和特征Y本来是线性关系，把X做归一化后，线性关系还存在，可如果X和Y是二次关系、三次关系，把X做归一化后，可能会破坏这种关系，导致模型无法正确拟合X和Y的关系。当然了，这是个形而上学的例子，只用做学术讨论。

最后补充一点，把 xi 变换成 xi/sum(xi) 虽然也算一种归一化，但是貌似只适合用在排名次的场合，对特征取值做这种变换不大合理。