论文实现以SVD的分解形式进行深度神经网络的训练（PyTorch）

Posted 2022-01-19 囚生CY

序言

本文是针对笔者前一阵子写的博客【数值分析×机器学习】以SVD的分解形式进行深度神经网络的训练基于$\mathrm{P}\mathrm{y}\mathrm{T}\mathrm{o}\mathrm{r}\mathrm{c}\mathrm{h}$的一个实现流程，以及对在实现过程中存在的问题与解决做一个记录。大致的思想是将深度神经网络中各个网络层（主要指全连接层与卷积层）对应的权重矩阵进行低秩分解，以简化模型复杂度以及提升模型优化的收敛速度，有兴趣地可以去看一下链接中对应的论文，笔者阅读后受益匪浅：

• 英文标题：Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification
• 中文标题：学习低秩深度神经网络通过奇异向量正交正则化与奇异值稀疏化
• 论文下载链接：arxiv@1906.06925

具体而言，$\text{SVD}$指对于权重矩阵$W\in {\mathbb{R}}^{m\times n}$，可以分解为$U\in {\mathbb{R}}^{m\times r},V\in {\mathbb{R}}^{n\times r},s\in {\mathbb{R}}^s$三部分，其中$U$与$V$是正交矩阵（即奇异向量矩阵），在满秩的情况下，即$r=\min (m,n)$，$W$可以精确地被重构成$W=U\text{diag}(s)V^{\top }$，问题在于这种分解方法是极为耗时的，如果在模型训练的每一次迭代中都去对深度神经网络中的每一个权重矩阵$W$进行$\text{SVD}$，那么这个代价相比于模型的简化与优化速度的提升显然是很划不来的，因此一个想法是在损失函数中添加正则项，来促进奇异向量矩阵$U,V$能够逼近正交矩阵，且$s$尽可能的稀疏，通过阅读上述论文可以知道损失函数具有如下的形式：
$$L(U,s,V)=L_T\left(\text{diag}\left(\sqrt{|s|}\right)V^{\top },U\text{diag}\left(\sqrt{|s|}\right)\right)+{\lambda }_o\sum _{l=1}^D{L}_o(U_l,V_l)+{\lambda }_s\sum _{l=1}^D{L}_s(s_l)\text{\hspace{1em}(1)}$$
其中：

1. $L_T$是在分解的网络层上的训练损失；

2. $L_o$是正交正则项：
   $$L_o(U,V)=\frac{1}{r^2}\left({\Vert U^{\top }U-I\Vert }_F^2-{\Vert V^{\top }V-I\Vert }_F^2\right)\text{\hspace{1em}(2)}$$
   目的是为了使得奇异向量矩阵$U,V$逼近正交矩阵；

3. $U_l,V_l,s_l$是网络层$l$的奇异向量矩阵与奇异值向量，$D$即为总的网络层数；

4. $L_s$是稀疏导出正则化的损失，这里对比了$L_s=L^H$以及$L_s=L^1$的性能：
   $$\begin{gathered} L^H(s)=\frac{\Vert s{\Vert }_1}{\Vert s{\Vert }_2}=\frac{{\sum }_i|s_i|}{\sqrt{{\sum }_i{s}_i^2}} \\ {L}^1(s)=数值分析\times 机器学习以SVD的分解形式进行深度神经网络的训练（逐渐熟练） \end{gathered}$$

   数值分析×机器学习以SVD的分解形式进行深度神经网络的训练（逐渐熟练）

   项目总结SVD Training（终焉）

   项目总结SVD Training（终焉）

   IEEE Trans 2006 使用K-SVD构造超完备字典以进行稀疏表示（稀疏分解）

   奇异值分解(SVD)