第55篇剪枝算法：通过网络瘦身学习高效卷积网络

Posted 2022-12-11 AI浩

摘要

原文链接：https://arxiv.org/abs/1708.06519

深度卷积神经网络(CNNs)在现实世界中的应用很大程度上受到其高计算成本的阻碍。在本文中，我们提出了一种新的cnn学习方案，以同时减小模型的尺寸;2)减少运行时内存占用;3)在不影响精度的前提下，降低计算操作的数量。这是通过在网络中以一种简单但有效的方式强制通道级稀疏性来实现的。与许多现有的方法不同，所提出的方法直接适用于现代CNN体系结构，为训练过程引入了最小的开销，并且对生成的模型不需要特殊的软件/硬件加速器。我们称这种方法为网络瘦身，它以宽而大的网络作为输入模型，但在训练过程中自动识别和修剪不重要的通道，得到具有相当精度的薄而紧凑的模型。我们通过几个最先进的CNN模型，包括VGGNet、ResNet和DenseNet，在不同的图像分类数据集上，实证证明了我们方法的有效性。对于VGGNet，多通道版本的网络瘦化使模型尺寸减小了20倍，计算操作减少了5倍。

1. 简介

近年来，卷积神经网络(CNNs)已成为各种计算机视觉任务的主要方法，如图像分类[22]，目标检测[8]，语义分割[26]。大规模的数据集，高端的现代图形处理器和新的网络架构允许开发前所未有的大型CNN模型。例如，从AlexNet [22]， VGGNet[31]和GoogleNet[34]到ResNets [14]， ImageNet分类挑战赛的获胜者模型已经从8层发展到100多层。

然而，较大的cnn虽然具有更强的表示能力࿰