Distiller：正则化

Posted 2022-11-16 Yan_Joy

Regularization

正则化

在Deep Learning¹书中，是这么定义正则化的：

“any modification we make to a learning algorithm that is intended to reduce its generalization error, but not its training error.”

PyTorch的 优化器使用$l_2$参数正则化去限制模型大小(即减小参数方差)。

总的来说，我们可以把它写为:
$$loss(W;x;y)=los{s}_D(W;x;y)+{\lambda }_{R}R(W)$$
特别的：
$$loss(W;x;y)=los{s}_D(W;x;y)+{\lambda }_R\Vert W{\Vert }_2^2$$

其中$W$是网络中所有权重元素的集合（即这是model.parameters()），$loss(W;x;y)$是总训练损失，并且$los{s}_D(W)$是数据损失（即目标函数的误差，也称为损失函数，或者在Distiller样本图像分类器压缩中的criterion）。

optimizer = optim.SGD(model.parameters(), lr = 0.01, momentum=0.9, weight_decay=0.0001)
criterion = nn.CrossEntropyLoss()
...
for input, target in dataset:
    optimizer.zero_grad()
    output = model(input)
    loss = criterion(output, target)
    loss.backward()
    optimizer.step()

${\lambda }_R$是一个被称为正则强度的标量，它平衡了数据误差和正则误差。在PyTorch中是 weight_decay参数。

$\Vert W{\Vert }_2^2$是$W$的$l_2$范数平方，被称为幅度 （magnitude），表示张量大小。
$$\Vert W{\Vert }_2^2=\sum _{l=1}^L\sum _{i=1}^n|w_{l,i}{|}^{2}wheren=torch.numel(w_l)$$

$L$是网络中的层数。

在深度学习中解释了$l_2$ 范数和平方$l_2$范数之间的定性差异。

稀疏与正则

我们提到正则化，因为正则化和一些DNN稀疏诱导方法之间存在有趣的相互作用。

在Dense-Sparse-Dense (DSD)²中使用剪枝作为正则化来提升模型准确率：

“Sparsity is a powerful form of regularization. Our intuition is that, once the network arrives at a local minimum given the sparsity constraint, relaxing the constraint gives the network more freedom to escape the saddle point and arrive at a higher-accuracy local minimum.”

正规化也可用于诱导稀疏性。 为了诱导元素稀疏性，我们可以使用$l_1$范数，$\Vert W{\Vert }_1$。

$$\Vert W{\Vert }_1=l_1(W)=\sum _{i=1}^{|W|}|w_i|$$

$l_2$范数正则化通过减小大的参数来避免过度拟合并提高模型的精度，但它不会强制这些参数为绝对零。$l_1$-范数正则化将一些参数元素设置为零，因此在使模型更简单的同时限制了模型的容量。 这有时被称为特征选择，并为我们提供了修剪的另一种解释。

Distiller的一个Jupyter文件解释了$l_1$-范数正则化器如何引起稀疏性，以及它如何与$l_2$-范数正则化相互作用。

如果我们将weight_decay配置为零并使用$l_1$-范数正则化，那么我们有：
$$loss(W;x;y)=los{s}_D(W;x;y)+{\lambda }_R\Vert W{\Vert }_1$$
如果同时使用两个正则化，则有:
$$loss(W;x;y)=los{s}_D(W;x;y)+{\lambda }_{R_2}\Vert W{\Vert }_2^2+{\lambda }_{R_1}\Vert W{\Vert }_1$$

类 distiller.L1Regularize实现$l_1$-范数正则化，当然也可以通过schedule 使用。

l1_regularizer = distiller.s(model.parameters())
...
loss = criterion(output, target) + lambda * l1_regularizer()

组正则化

在Group Regularization中，我们惩罚整组参数元素，而不是单个元素。 因此，整个组要么是稀疏化的（即所有组元素都具有零值），要么不是。 必须预先定义组结构。

$$loss(W;x;y)=los{s}_D(W;x;y)+{\lambda }_{R}R(W)+基于Distiller的模型压缩工具简介$$

Distiller:神经网络压缩研究框架

Distiller:神经网络压缩研究框架

Distiller：量化算法

Distiller：量化算法

开源 | Intel发布神经网络压缩库Distiller：快速利用前沿算法压缩PyTorch模型