添加批量标准化会降低性能

Posted 2023-03-13

【中文标题】添加批量标准化会降低性能

【英文标题】：Adding batch normalization decreases the performance

【发布时间】：2019-12-18 20:01:15

【问题描述】：

我正在使用 PyTorch 实现基于骨架的动作识别的分类网络。该模型由三个卷积层和两个全连接层组成。这个基础模型在 NTU-RGB+D 数据集中给了我大约 70% 的准确率。我想了解有关批量标准化的更多信息，因此我为除最后一层之外的所有层添加了批量标准化。令我惊讶的是，评估准确率没有增加而是下降到 60%，但训练准确率却从 80% 提高到了 90%。谁能说我做错了什么？或添加批量标准化不需要提高准确性？

批量归一化模型

class BaseModelV0p2(nn.Module):

    def __init__(self, num_person, num_joint, num_class, num_coords):
        super().__init__()
        self.name = 'BaseModelV0p2'
        self.num_person = num_person
        self.num_joint = num_joint
        self.num_class = num_class
        self.channels = num_coords
        self.out_channel = [32, 64, 128]
        self.loss = loss
        self.metric = metric
        self.bn_momentum = 0.01

        self.bn_cv1 = nn.BatchNorm2d(self.out_channel[0], momentum=self.bn_momentum)
        self.conv1 = nn.Sequential(nn.Conv2d(in_channels=self.channels, out_channels=self.out_channel[0],
                                             kernel_size=3, stride=1, padding=1),
                                   self.bn_cv1,
                                    nn.ReLU(),
                                    nn.MaxPool2d(kernel_size=2, stride=2))

        self.bn_cv2 = nn.BatchNorm2d(self.out_channel[1], momentum=self.bn_momentum)
        self.conv2 = nn.Sequential(nn.Conv2d(in_channels=self.out_channel[0], out_channels=self.out_channel[1],
                                            kernel_size=3, stride=1, padding=1),
                                   self.bn_cv2,
                                nn.ReLU(),
                                nn.MaxPool2d(kernel_size=2, stride=2))

        self.bn_cv3 = nn.BatchNorm2d(self.out_channel[2], momentum=self.bn_momentum)
        self.conv3 = nn.Sequential(nn.Conv2d(in_channels=self.out_channel[1], out_channels=self.out_channel[2],
                                            kernel_size=3, stride=1, padding=1),
                                   self.bn_cv3,
                                  nn.ReLU(),
                                  nn.MaxPool2d(kernel_size=2, stride=2))

        self.bn_fc1 = nn.BatchNorm1d(256 * 2, momentum=self.bn_momentum)
        self.fc1 = nn.Sequential(nn.Linear(self.out_channel[2]*8*3, 256*2),
                                 self.bn_fc1,
                                 nn.ReLU(),
                                 nn.Dropout2d(p=0.5))  # TO check

        self.fc2 = nn.Sequential(nn.Linear(256*2, self.num_class))

    def forward(self, input):
        list_bn_layers = [self.bn_fc1, self.bn_cv3, self.bn_cv2, self.bn_cv1]
        # set the momentum  of the batch norm layers to given momentum value during trianing and 0 during evaluation
        # ref: https://discuss.pytorch.org/t/model-eval-gives-incorrect-loss-for-model-with-batchnorm-layers/7561
        # ref: https://github.com/pytorch/pytorch/issues/4741
        for bn_layer in list_bn_layers:
            if self.training:
                bn_layer.momentum = self.bn_momentum
            else:
                bn_layer.momentum = 0

        logits = []
        for i in range(self.num_person):
            out = self.conv1(input[:, :, :, :, i])

            out = self.conv2(out)

            out = self.conv3(out)

            logits.append(out)

        out = torch.max(logits[0], logits[1])
        out = out.view(out.size(0), -1)
        out = self.fc1(out)
        out = self.fc2(out)

        t = out

        assert not ((t != t).any())  # find out nan in tensor
        assert not (t.abs().sum() == 0)  # find out 0 tensor

        return out

【问题讨论】：

您是否能够使用更新的动量 0.1 进行测试？

是的！我尝试了不同的动量组 1、0.1、0.01，但结果没有改变。

【参考方案1】：

我对您所观察到的现象的解释是，不是减少协方差偏移，这就是批量标准化的目的，而是增加它。换句话说，不是减少训练和测试之间的分布差异，而是增加它，这就是导致训练和测试之间的准确性差异更大的原因。 Batch Normalization 并不能始终保证更好的性能，但对于某些问题它不能很好地工作。我有几个可以带来改进的想法：

如果批量较小，则增加批量大小，这将有助于在 Batch Norm 层中计算的均值和标准差更稳健地估计总体参数。 稍微减小bn_momentum 参数，看看这是否也能稳定Batch Norm 参数。 我不确定你是否应该在测试时将bn_momentum 设置为零，我认为当你想训练时应该调用model.train()，当你想使用训练好的模型进行推理时应该调用model.eval()。李> 您也可以尝试层归一化而不是批量归一化，因为它不需要累积任何统计数据并且通常效果很好 尝试使用 dropout 对模型进行一些正则化 确保在每个时期都对训练集进行洗牌。不打乱数据集可能会导致相关批次在批次标准化周期中进行统计。这可能会影响您的概括 我希望这些想法对你有用

【讨论】：

完全同意至少model.train()和model.eval这一点，以及较低的bn_momentum！虽然，我觉得 BN + Dropout 在同一层可能会导致性能下降，因为你本质上是在否认标准化对所有节点生效，但话又说回来，我对 CNN 设置中的 Dropout 没有太多经验。

只要你在 dropout 后不应用标准化，它就可以工作：D。这种方式我用过很多次。虽然我明白你的意思，但做一些实验可能是值得的：D

感谢@ivallesp 的回答。我仍然不明白如何增加分配差异？如果你不介意，你能多说一点吗？这真的很有帮助。关于 eval () 和 train() 部分。我已经根据 pytorch 论坛中的讨论完成了那部分。他们建议编辑势头。链接：discuss.pytorch.org/t/…

当您应用 batchnorm 时，会为每个神经元的输出计算平均值和标准差。这些统计数据是使用指数衰减函数（动量）累积的。如果有任何机会没有正确计算这些统计数据，例如在使用非常小的动量会大大增加它们的可变性的情况下，您最终会得到非常嘈杂的批次，因此可能会增加协方差偏移。关于改变训练和测试的动量，我可以保证不这样做并使用训练和评估工作，我没有尝试改变动量参数。

但老实说，在测试时将动量固定为 0 的事实改变了分布。想想看，模型学会了处理用 99% 的历史参数和 1% 的批次参数（动量=0.01）标准化的批次。如果您现在将其更改为具有 100% 的历史参数（动量 = 0），您确实会扰乱模型已知的分布。

【参考方案2】：

问题可能出在您的动力上。我看到你使用的是 0.01。

这是我尝试不同的 beta 以适应具有动量的点的方法，使用 beta=0.01 我得到了不好的结果。通常使用beta=0.1。

【参考方案3】：

这几乎是由于两个主要原因 1.非平稳训练'程序和 2.训练/测试不同分布

如果可以尝试其他正则化技术，例如 Drop-out，我遇到了这个问题，我发现我的测试和训练分布可能不同，所以在我删除 BN 并改用 drop-out 后，得到了合理的结果。阅读this了解更多

使用nn.BatchNorm2d(out_channels, track_running_stats=False)这将禁用批次的运行统计并使用当前批次的均值和方差进行归一化

在训练模式下，对with torch.no_grad() 块中的数据运行一些前向传递。这稳定了 running_mean / running_std 值

在您的数据集中对model.train() 和model.eval() 使用相同的batch_size

增加 BN 的动量。这意味着在训练过程中，学习到的方法和标准会更加稳定

这在您使用预训练模型时很有帮助

   for child in model.children():
       for ii in range(len(child)):
           if type(child[ii])==nn.BatchNorm2d:
               child[ii].track_running_stats = False