清华大学出品：罚梯度范数提高深度学习模型泛化性

Posted 2022-02-21 鬼道2022

1 引言

 神经网络结构简单，训练样本量不足，则会导致训练出来的模型分类精度不高；神经网络结构复杂，训练样本量过大，则又会导致模型过拟合，所以如何训练神经网络提高模型的泛化性是人工智能领域一个非常核心的问题。最近读到了一篇与该问题相关的文章，论文中作者在训练过程中通过在损失函数中增加正则化项梯度范数的约束从而来提高深度学习模型的泛化性。作者从原理和实验两方面分别对论文中的方法进行了详细地阐述和验证。$\mathrm{L}\mathrm{i}\mathrm{p}\mathrm{s}\mathrm{c}\mathrm{h}\mathrm{i}\mathrm{t}\mathrm{z}$连续是对深度学习进行理论分析中非常重要且常见的数学工具，该论文就是以神经网络损失函数$是\mathrm{L}\mathrm{i}\mathrm{p}\mathrm{s}\mathrm{c}\mathrm{h}\mathrm{i}\mathrm{t}\mathrm{z}$连续为出发点进行数学推导。为了方便读者能够更流畅地欣赏论文作者漂亮的数学证明思路和过程，本文对于论文中没有展开数学证明细节进行了补充。

论文链接：https://arxiv.org/abs/2202.03599

2 $\mathrm{L}\mathrm{i}\mathrm{p}\mathrm{s}\mathrm{c}\mathrm{h}\mathrm{i}\mathrm{z}$连续

 给定一个训练数据集$\mathcal{S}=(x_i,y_i){}_{i=0}^n$服从分布$\mathcal{D}$，一个带有参数$\theta \in \Theta$的神经网络$f(\cdot ;\theta )$，损失函数为$$L_{\mathcal{S}}=\frac{1}{N}\sum _{i=1}^{N}l(\widehat{y_i,y_i,\theta })$$当需要对损失函数中的梯度范数进行约束时，则有如下损失函数$$L(\theta )=L_{\mathcal{S}}+\lambda \cdot \Vert {\nabla }_{\theta }{L}_{\mathcal{S}}(\theta ){\Vert }_p$$其中$\Vert \cdot {\Vert }_p$表示$p$范数，$\lambda \in {\mathbb{R}}^{+}$为梯度惩罚系数。一般情况下，损失函数引入梯度的正则化项会使得其在优化过程中在局部有更小的$\mathrm{L}\mathrm{i}\mathrm{p}\mathrm{s}\mathrm{c}\mathrm{h}\mathrm{i}\mathrm{t}\mathrm{z}$常数，$\mathrm{L}\mathrm{i}\mathrm{p}\mathrm{s}\mathrm{c}\mathrm{h}\mathrm{i}\mathrm{t}\mathrm{z}$常数越小，就意味着损失函数就越平滑，平损失函数平滑区域易于损失函数优化权重参数。进而会使得训练出来的深度学习模型有更好的泛化性。
 深度学习中一个非常重要而且常见的概念就是$\mathrm{L}\mathrm{i}\mathrm{p}\mathrm{s}\mathrm{c}\mathrm{h}\mathrm{i}\mathrm{t}\mathrm{z}$连续。给定一个空间$\Omega \subset {\mathbb{R}}^n$，对于函数$h:\Omega \to {\mathbb{R}}^m$，如果存在一个常数$K$,对于$\forall {\theta }_1,{\theta }_2\in \Omega$满足以下条件则称$\mathrm{L}\mathrm{i}\mathrm{p}\mathrm{s}\mathrm{c}\mathrm{h}\mathrm{i}\mathrm{t}\mathrm{z}$连续$$\Vert h({\theta }_1)-h({\theta }_2){\Vert }_2\le K\cdot \Vert {\theta }_1-{\theta }_2{\Vert }_2$$其中$K$表示的是$\mathrm{L}\mathrm{i}\mathrm{p}\mathrm{s}\mathrm{c}\mathrm{h}\mathrm{i}\mathrm{t}\mathrm{z}$常数。如果对于参数空间$\Theta \subset \Omega$，如果$\Theta$有一个邻域$\mathcal{A}$，且$h{|}_{\mathcal{A}}$是$\mathrm{L}\mathrm{i}\mathrm{p}\mathrm{s}\mathrm{c}\mathrm{h}\mathrm{i}\mathrm{t}\mathrm{z}$连续，则称$h$是局部$\mathrm{L}\mathrm{i}\mathrm{p}\mathrm{s}\mathrm{c}\mathrm{h}\mathrm{i}\mathrm{t}\mathrm{z}$连续。直观来看，$\mathrm{L}\mathrm{i}\mathrm{p}\mathrm{s}\mathrm{c}\mathrm{h}\mathrm{i}\mathrm{t}\mathrm{z}$常数描述的是输出关于输入变化速率的一个上界。对于一个小的$\mathrm{L}\mathrm{i}\mathrm{p}\mathrm{s}\mathrm{c}\mathrm{h}\mathrm{i}\mathrm{t}\mathrm{z}$参数，在邻域$\mathcal{A}$中给定任意两个点，它们输出的改变被限制在一个小的范围里。
 根据微分中值定理，给定一个最小值点${\theta }_i$，对于任意点$\forall {\theta }_i^{\prime }\in \mathcal{A}$，则有如下公式成立 $$\Vert |L({\theta }_i^{\prime })-L({\theta }_i){\Vert }_2=\Vert \nabla L(\zeta )({\theta }_i^{\prime }-{\theta }_i){\Vert }_2$$其中$\zeta =c{\theta }_i+(1-c){\theta }_i^{\prime },c\in [0,1]$，根据$\mathrm{C}\mathrm{a}\mathrm{u}\mathrm{c}\mathrm{h}\mathrm{y}\text{-}\mathrm{S}\mathrm{c}\mathrm{h}\mathrm{w}\mathrm{a}\mathrm{r}\mathrm{z}$不等式可知 ∥ ∣ L ( θ i ′ ) − L ( θ i ) ∥ 2 ≤ ∥ ∇ L ( ζ ) ∥ 2 ∥ ( θ