29.深度学习模型压缩方法-3

Posted 2023-01-06 大勇若怯任卷舒

29.1 后端压缩

（1）低秩近似

• 在卷积神经网络中，卷积运算都是以矩阵相乘的方式进行
• 对于复杂网络，权重矩阵往往非常大，非常消耗存储和计算资源
  • 低秩近似就是用若干个低秩矩阵组合重构大的权重矩阵，以此降低存储和计算资源消耗。

事项	特点
优点	可以降低存储和计算消耗； 一般可以压缩2-3倍；精度几乎没有损失；
缺点	模型越复杂，权重矩阵越大，利用低秩近似重构参数矩阵不能保证模型的性能 ； 超参数的数量随着网络层数的增加呈线性变化趋势，例如中间层的特征通道数等等。 随着模型复杂度的提升，搜索空间急剧增大。

（2）未加限制的剪枝

• 完成训练后，不加限制地剪去那些冗余参数。

事项	特点
优点	保持模型性能不损失的情况下，减少参数量9-11倍； 剔除不重要的权重，可以加快计算速度，同时也可以提高模型的泛化能力；
缺点	极度依赖专门的运行库和特殊的运行平台，不具有通用性； 压缩率过大时，破坏性能；

（3）参数量化

• 神经网络的参数类型一般是32位浮点型，