小米开源自研移动端深度学习框架MACE

Posted 2021-04-29 CVer

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了小米开源自研移动端深度学习框架MACE相关的知识，希望对你有一定的参考价值。

重磅干货，第一时间送达

导言

Mobile AI Compute Engine (MACE) 是一个专为移动端异构计算平台优化的神经网络计算框架。MACE 支持 TensorFlow 和 Caffe 模型，提供转换工具，可以将训练好的模型转换成专有的模型数据文件，同时还可以选择将模型转换成C++代码，支持生成动态库或者静态库，提高模型保密性。

编辑: Amusi

校稿: Amusi

小米开源自研移动端深度学习框架MACE

Mobile AI Compute Engine (MACE)

Mobile AI Compute Engine (MACE) 是一个专为移动端异构计算平台优化的神经网络计算框架。主要从以下的角度做了专门的优化：

性能

代码经过NEON指令，OpenCL以及Hexagon HVX专门优化，并且采用 Winograd算法来进行卷积操作的加速。此外，还对启动速度进行了专门的优化。

功耗

支持芯片的功耗管理，例如ARM的big.LITTLE调度，以及高通Adreno GPU功耗选项。

系统响应

支持自动拆解长时间的OpenCL计算任务，来保证UI渲染任务能够做到较好的抢占调度，从而保证系统UI的相应和用户体验。

内存占用

通过运用内存依赖分析技术，以及内存复用，减少内存的占用。另外，保持尽量少的外部依赖，保证代码尺寸精简。

模型加密与保护

模型保护是重要设计目标之一。支持将模型转换成C++代码，以及关键常量字符混淆，增加逆向的难度。

硬件支持范围

支持高通，联发科，以及松果等系列芯片的CPU，GPU与DSP(目前仅支持Hexagon)计算加速。同时支持在具有POSIX接口的系统的CPU上运行。

MACE 文档

链接: https://mace.readthedocs.io/en/latest/

打开MACE 在线文档网页，引入眼帘的是：

Getting started
Development
FAQ

小米开源自研移动端深度学习框架MACE

这里简单介绍一下Getting started中的Introduction内容：

移动AI计算引擎（MACE）是一种针对移动异构计算平台优化的深度学习推理框架。下图显示了整体架构。

小米开源自研移动端深度学习框架MACE

模型格式（Model format）

MACE定义了与Caffe2类似的自定义模型格式。MACE模型可以由TensorFlow和Caffe的导出模型转换。YAML文件用于描述模型部署详细信息。在下一章中，有详细的指导说明如何创建这个YAML文件。

模型转换（Model conversion）

目前，我们为TensorFlow和Caffe提供模型转换器。未来将支持更多框架。

模型加载（Model loading）

MACE模型格式包含两部分：模型图定义和模型参数张量。图形部分使用协议缓冲区进行序列化。所有模型参数张量一起连接成一个连续的字节数组，我们在下面的段落中称这个数组张量数据（array tensor data）。在模型图中，记录张量数据偏移和长度。

模型可以通过3种方式加载：

模型图和张量数据都是外部动态加载的（默认情况下，来自文件系统，但用户可以自由选择自己的实现，例如，使用压缩或加密）。这种方法提供了最大的灵活性，但却是最薄弱的模型保护。
模型图和张量数据都转换为C++代码并通过执行编译的代码加载。这种方法提供了最强大的模型保护和最简单的部署。
模型图转换为C++代码并构造为第二种方法，张量数据作为第一种方法在外部加载。

MACE Model Zoo

随着MACE一起开源的还有MACE Model Zoo项目，目前包含了物体识别，场景语义分割，图像风格化等多个公开模型。

链接: https://github.com/XiaoMi/mace-models

打开上述链接看到下述画面，着实蛮震撼的！这里简单介绍一下部分现有的model：