自动化构建移动端神经网络的技术研究

Posted 2021-04-26 电子技术应用ChinaAET

摘要： 深度学习已在视觉、语音、自然语言等应用领域取得巨大成功，然而随着网络结构日趋复杂，神经网络参数量也迅速增长，设计网络结构和调节参数这一过程需要大量的专业知识与反复试验，成本极高。此外，由于功耗限制与存储空间等因素，移动端设备上的神经网络模型规模受限。设计了一种高效的移动端神经网络架构搜索算法，具体包括：(1)设计了一种在预先给定神经网络架构的情况下可以自动计算模型浮点数运算次数的算法；(2)改进现有的基于梯度的神经网络架构搜索算法，设计了一种带约束的架构搜索算法；(3)在神经网络架构搜索过程中加入对浮点数运算次数的约束，通过调节约束的强弱搜索到几种不同的神经网络架构。训练搜索到的神经网络，测试其在图像分类任务上的性能，并与工业界常用的模型相比较。实验结果表明，该方法搜索到的模型能达到目前工业界主流模型性能。

关键词：轻量级神经网络、卷积、模型约束、架构搜索

0 引言

自AlexNet以巨大的优势在ImageNet图像识别比赛中夺冠后，深度学习在视觉、语音、自然语言处理等方面取得了飞速的进展和巨大的成功。深度学习发展主要依赖于算力的提升和算法的进步。算力的提升主要在于GPU、TPU等硬件的应用与发展；而算法的进步多种多样，例如优化方法的改进、激活函数的选择等。本文主要关注于使用神经网络架构搜索的方法构建轻量级神经网络，主要工作包括：

    (1)设计了一种自动计算模型浮点数运算次数的算法。浮点数运算次数是反映神经网络规模与运行速度的一个重要指标，也是一个动态的过程，可以看作架构参数的函数，除了具体的数值外，本文还计算了其对架构参数的偏导数。

    (2)基于梯度的神经网络架构搜索，改进设计了一种带约束的架构搜索方法。在实际任务中，为了使模型能运行在特定设备上，通常对模型的规模或运行速度等有一定的要求。不加约束的搜索，得到的模型很可能不满足要求。本文实现的约束算法并不限于某一种特定约束，而是实现了一种接口，加入了对模型运行时延、模型规模多种不同的约束。

    (3)利用带有浮点数运算次数约束的架构搜索算法，搜索到几种高性能神经网络架构。在几个公开数据集上测试并对比其在图像分类任务上的准确率，并与工业界常用的神经网络模型进行比较。

点击下方“阅读原文” 可下载完整版PDF文档！