第3篇Inception V2

Posted 2021-09-24 AI浩

Inception V2

摘要

由于每层输入的分布在训练过程中随着前一层的参数发生变化而发生变化，因此训练深度神经网络很复杂。由于需要较低的学习率和仔细的参数初始化，这会减慢训练速度，并且使得训练具有饱和非线性的模型变得非常困难。我们将这种现象称为内部协变量偏移，并通过归一化层输入来解决该问题。我们的方法的优势在于将标准化作为模型架构的一部分，并为每个训练小批量执行标准化。 Batch Normalization 允许我们使用更高的学习率，并且在初始化时不那么小心。它还充当正则化器，在某些情况下消除了 Dropout 的需要。应用于最先进的图像分类模型，批量归一化在训练步骤减少 14 倍的情况下实现了相同的精度，并且以显着的优势击败了原始模型。使用批量归一化网络的集合，我们改进了 ImageNet 分类的最佳发布结果：达到 4.9% 的 top-5 验证错误（和 4.8% 的测试错误），超过人类评估者的准确性。

1 简介

深度学习极大地提高了视觉、语音和许多其他领域的技术水平。 随机梯度下降 (SGD) 已被证明是训练深度网络的有效方法，并且诸如动量 (Sutskever et al., 2013) 和 Adagrad (Duchi et al., 2011) 等 SGD 变体已被用于实现 艺术表演。 SGD 优化网络的参数 Θ Θ