第42篇MicroNet：以极低的 FLOP 实现图像识别

Posted 2022-09-08 AI浩

摘要

在本文中，我们介绍了 MicroNet，它是一种高效的卷积神经网络，使用极低的计算成本（例如 ImageNet 分类上的 6 个 MFLOP）。这种低成本网络在边缘设备上是非常需要的，但通常会遭受显着的性能下降。我们基于两个设计原则处理极低的 FLOP：（a）通过降低节点连接性来避免网络宽度的减少，以及（b）通过在每层引入更复杂的非线性来补偿网络深度的减少。首先，我们提出微因子卷积将逐点和深度卷积分解为低秩矩阵，以便在通道数和输入/输出连接之间取得良好的折衷。其次，我们提出了一个名为 Dynamic Shift-Max 的新激活函数，通过最大化输入特征图与其循环通道移位之间的多个动态融合来改善非线性。融合是动态的，因为它们的参数适应输入。在微因子卷积和动态 Shift-Max 的基础上，一系列 MicroNet 在低 FLOP 状态下实现了比最先进技术的显着性能提升。例如，MicroNet-M1 在具有 12 个 MFLOP 的 ImageNet 分类上实现了 61.1% 的 top-1 准确率，比 MobileNetV3 高出 11.3%。

一、简介

最近，设计高效的 CNN 架构 [15,12,26,11,42,24,29] 一直是一个活跃的研究领域。 这些工作使边缘设备上的高质量服务成为可能。 然而，当计算成本变得极低时，即使是最先进的高效 CNN（例如 MobileNetV3 [11]）也会遭受显着的性能下降。 例如，当在分辨率为 224 × 224 的图像分类 [8] 上