为什么需要做归一化或者标准化

Posted 2021-12-19 lzida9223

为什么需要做归一化或者标准化

一句话解释就是为了让我们求解loss最低值的过程中更加的平稳和缓，容易收敛。
具体解释可以看这里:
特征工程中的「归一化」有什么作用？ - 忆臻的回答 - 知乎
https://www.zhihu.com/question/20455227/answer/197897298

用我自己的话总结就是:损失函数对某个权重求梯度的时候，会用到这个权重之前的变量，如果这个白能量过大，会导致梯度过大，也就是这个权重在收敛的过程中每次变化量会很大，就不容易收敛。

这就要求我们在收敛过程中使用不同的学习率，对于梯度变化多大的使用小一点的学习率，梯度变化大的方向使用大一点的学习率，这就比较麻烦了。