BN和L2 NORM的区别

Posted 2020-11-01 木易修的博K

bn是拉平各个feature的差异，而l2 norm是拉平各个样本的差异，本来各个样本的模长千变万化，按照距离的概念，差别是很大的，但是l2 norm后，距离就变得有一个上界了，显然样本间差异变小了。而对于各个feature，本来各个feature的量级都可能不一样，方差也就不一样，bn让方差为1，均值为0（理论上），各个feature的差异就小了， l2 norm并没有改变feature之间的相对大小。 l2 norm是强行把同个维度的特征归一化。batch norm是把不同维度的去均值归一化， l2 norm是自己对自己，所以除以的值不尽相同，batch norm是基于统计全局，所以均值和方差每个样本都是相同值。  对于不同layer输出的concat，还是l2 norm比较合适 。