归一化 （Normalization）标准化 （Standardization）和中心化/零均值化 （Zero-centered）

Posted 2022-03-18 xingnie

博主学习的源头，感谢！https://www.jianshu.com/p/95a8f035c86c

 

归一化 （Normalization）、标准化 （Standardization）和中心化/零均值化 （Zero-centered）
归一化：１）把数据变成(０，１)或者（1,1）之间的小数。
标准化：使每个特征中的数值平均变为0(将每个特征的值都减掉原始资料中该特征的平均)、标准差变为1
中心化：平均值为0，对标准差无要求
归一化和标准化的区别：归一化是将样本的特征值转换到同一量纲下把数据映射到[0,1]或者[-1, 1]区间内，仅由变量的极值决定，因区间放缩法是归一化的一种。标准化是依照特征矩阵的列处理数据，其通过求z-score的方法，转换为标准正态分布，和整体样本分布相关，每个样本点都能对标准化产生影响。

标准化和中心化的区别：标准化是原始分数减去平均数然后除以标准差，中心化是原始分数减去平均数。 所以一般流程为先中心化再标准化。
什么时候用归一化？什么时候用标准化？
??（1）如果对输出结果范围有要求，用归一化。
??（2）如果数据较为稳定，不存在极端的最大最小值，用归一化。
??（3）如果数据存在异常值和较多噪音，用标准化，可以间接通过中心化避免异常值和极端值的影响。

哪些模型必须归一化/标准化？SVM KNN 神经网络（数值问题、求解需要【初始化、梯度、学习率、搜索轨迹】） PCA