批量标准化[关闭]

Posted 2023-03-12

【中文标题】批量标准化[关闭]

【英文标题】：Batch normalization [closed]

【发布时间】：2022-01-21 18:59:01

【问题描述】：

为什么batch normalization是作用于相同特征的不同样本而不是同一样本的不同特征？不应该是不同特征的归一化吗？在图中，为什么我们使用第一行而不是第一栏？ 有人可以帮帮我吗？

【问题讨论】：

我投票结束这个问题，因为它与 help center 中定义的编程无关，而是关于 ML 理论和/或方法 - 请参阅 ***.com/tags/machine-learning/info 中的介绍和注意事项跨度>

【参考方案1】：

因为同一个对象的不同特征意味着不同的东西，对这些值计算一些统计数据是不合逻辑的。它们可以有不同的范围、平均值、标准等。你的一个特征可能意味着一个人的年龄，另一个是这个人的身高。如果您计算这些值的平均值，您将不会得到任何有意义的数字。

在经典机器学习（尤其是线性模型和 KNN）中，您应该标准化您的特征（即计算整个数据集上特定特征的均值和标准差，并将您的特征转换为 (X-mean(X)) / std( X） ）。批量归一化类似于应用于随机优化方法，如 SGD（在小批量上使用全局统计信息没有意义，此外，您希望比在第一层之前更频繁地使用批量规范）。更多基本想法可以在original paper

中找到

【讨论】：

也许对特征进行归一化是有意义的，就像层归一化一样