论文记录_MobileNets Efficient Convolutional Neural Networks for Mobile Vision Application

Posted 2023-02-22 莫失莫忘Lawlite

• 本文个人博客地址：点击查看
• Tensorflow 中的实现：点击查看
• Caffe 中的实现：点击查看

1、概述

• Google在2017年提出的适用于手机端的神经网络模型
• 主要使用了深度可分离卷积Depthwise Separable Convolution 将卷积核进行分解计算来减少计算量
• 引入了两个超参数减少参数量和计算量
  
  • 宽度乘数（Width Multiplier）: [减少输入和输出的 channels ]
  • 分辨率乘数（Resolution Multiplier）：[减少输入输出的 feature maps 的大小]

2、深度可分离卷积（Depthwise Separable Convolution）

• 可以将一个标准卷积核分成一个深度卷积depthwise convolution 和 一个1X1的卷积（叫作逐点卷积pointwise convolution）。如下图所示

2.1 标准卷积

• 标准的卷积层是将维度为$D_F \\times D_F \\times M$的输入层转化为维度为$D_G \\times D_G \\times N$ [ 上篇论文中也有提到]
  
  • $D_F$ 是输入feature map的长和宽，M 是输入的通道数（channels）
  • $D_G$ 是输出feature map的长和宽，N 是输出的通道数
• 假设卷积核filter的大小是$D_k \\times D_k$，则标准卷积的计算量是 $$D_k \\cdot D_k \\cdot M \\cdot N \\cdot D_F \\cdot D_F$$
  
  • 引用上篇论文中的图, 只看kernel matrix 部分，$D_k \\cdot D_k$就是一个方格的大小，然后乘上输入和输出的channels个数，然后作用在input feature maps
    
• 标准卷积是这样的, 即不管当前pixel有多少channels，卷积之后就是一个channel

2.2 Depthwise Separable Convolution

• 分为两个步骤
  
  • 第一步深度卷积：卷积核的大小是$D_k \\times D_k \\times 1 \\times M$，所以总的计算量是： $$D_k \\cdot D_k \\cdot M \\cdot D_F \\cdot D_F$$
  • 第二步逐点卷积：卷积核大小是$1 \\times 1 \\times M \\times N$，所以总的计算量是： $$M \\cdot N \\cdot D_F \\cdot D_F$$
• 所以和标准的卷积相比计算量比率为： $$D_k \\cdot D_k \\cdot M \\cdot D_F \\cdot D_F + M \\cdot N \\cdot D_F \\cdot D_F \\over D_k \\cdot D_k \\cdot M \\cdot N \\cdot D_F \\cdot D_F = 1 \\over N + 1 \\over D_k^2$$
  
  • MobileNet使用的是3x3的卷积核，所以计算量可以减少8-9倍 (因为比率是1/N+1/9)
• 第一步深度卷积操作是在每一个channel上进行的卷积操作

- 第二步逐点卷积才是结合起来

3. 神经网络结构

• MobileNet共有28层（深度卷积和逐点卷积分开来算）
• 之前标准的结构是卷积层之后跟上Batch Normalization层和Relu激活函数，这里引入Depthwise separable convolution之后的结构如下图
  
  • 每一层都跟上了BN层和激活函数
• 总的结构

4. 宽度乘数（Width Multiplier）

• 引入超参数$\\alpha$, 目的是使模型变瘦,
• 即输入层的channels个数M，变成$\\alpha M$，输出层的channels个数N变成了$\\alpha N$
• 所以引入宽度乘数后的总的计算量是 D k ⋅D k ⋅αM⋅D F ⋅D F +α以上是关于论文记录_MobileNets Efficient Convolutional Neural Networks for Mobile Vision Application的主要内容，如果未能解决你的问题，请参考以下文章

  论文泛读轻量化之MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

  论文翻译MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

  网络结构MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications论文解析

  Paper | MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

  MobileNet V12017-CVPR-MobileNets Efficient Convolutional Neural Networks for Mobile Vision Applica

  MobileNet V12017-CVPR-MobileNets Efficient Convolutional Neural Networks for Mobile Vision Applica