本文主要由 9 月 21 日在百度科技园举办的 AI 快车道 Paddle Lite 专场的演讲材料整理而成，介绍了 Paddle Lite 的性能特性、使用方法、架构设计等，并且提供了完整的使用案例，可供开发者迅速开展应用。
在技术革新的浪潮下，智能硬件结合人工智能越来越广地进入了我们的生活。小到智能手机、手表，大到智能交通系统、工业自动检测平台等，无不渗透了人工智能的威力。此外，为人工智能深度学习定制的硬件近年来也有井喷之势。人工智能在多种服务平台，多种硬件下得到了越来越多的应用。这里的应用一般指的是深度学习模型在实际场景中的推理计算。虽然硬件的快速发展带来了计算性能的提升，但多样化的硬件平台也给应用开发带来了挑战。同时，对深度学习任务而言，实际应用中的算力和内存的限制仍然显得非常苛刻。 针对多平台多硬件的场景，飞桨（PaddlePaddle）在今年 8 月份升级发布了 Paddle Lite 推理引擎。它支持多种硬件、多种平台，还具备轻量化部署、高性能实现等重要特性。 百度在深度学习推理引擎领域耕耘多年，在 2017 年开始，公司内部就有多个自研推理引擎并各有所长，比如有的主打手机端部署，有的则侧重支持多硬件多平台。2019 年，随着飞桨整体生态的构建，我们将这些推理引擎的技术积累进行了整合，将 Paddle Mobile 品牌升级为 Paddle Lite，旨在支持更广泛硬件平台，在架构和性能上集众家之长，并融入了对硬件和平台支持的最新的思考。8月份我们发布了 Paddle Lite 的 Beta 版本，并于 9 月 22 日发布了 RC 版本。Paddle Lite 是一个开源项目，其所有项目代码在 Github 上维护：
1. 特性&能力
Paddle Lite 支持如下特性：①多硬件平台支持；②轻量化部署；③高性能实现；④量化计算支持。下面我们一一介绍。 1.1. 多硬件平台支持 目前支持如下 7 种硬件：
ARM CPU V7、V8
Mali GPU, Adreno GPU, Metal GPU
Huawei NPU
FPGA
Paddle Lite 自上而下支持两个层次的多平台支持，一个是上层的多种训练平台支持，除了飞桨训练出的原生模型，还可以通过 X2Paddle 工具将 Caffe, TensorFlow, ONNX 等第三方平台的模型转化为 PaddlePaddle 的模型格式，从而加载进 Paddle Lite 部署。X2Paddle 的使用方法非常简单，参考上面命令便可完成相应模型的转化。Paddle Lite 官方测试验证过的模型列表如下。
除了多种训练平台这个层次外，在底层，Paddle Lite 也支持服务器端和移动端两种平台的预测部署。 1.2. 轻量级部署 完善的多硬件平台支持必须至少有如下支持，比如完整的各类硬件后端支持，多份硬件相关算子的实现，计算图详尽的分析和优化能力。这些能力的支持必然带来最终部署库的体积膨胀，难以轻量化部署。 Paddle Lite 针对这个问题，在架构上做了相应的设计：
2. 通用的硬件平台支持架构设计
Paddle Lite 在架构的设计中，重点考虑了相对广泛的多硬件平台支持的能力。首先在 Kernel 层，一种算法可以为多个硬件或者实现方法注册多个实现。
比如上图，Operator1 代表的算法有三种硬件，6 种实现。在具体的硬件平台上，可能会同时存在多种硬件可用，比如在安卓手机上，除了 ARM CPU 之外，可能还有 Mali GPU 可用，这时就需要混合调度多种硬件的 Kernel，中间涉及的跨设备拷贝，不同的数据排布等自动转化会比较复杂。为了较完备地支持这些场景，Paddle Lite 在架构中集成了 TypeSystem 的设计思路，将架构上支持任意硬件、任意量化精度、任意数据排布的 Kernel 实现的混合调度转化为类型推导的过程。
Edgeboard 使用流程包含：模型获取、接入数据源、部署模型、结果输出等四个步骤，就是个简单的应用开发，不具备深度学习的基础的同学也能很容易上手。 3.3.2. 蔬菜识别模型训练 本课程采用了百度 Ai Studio 的公开蔬菜识别项目，首先我们训练一个 Float 模型，并在 AI Studio 平台上使用 GPU 评估下效果。 项目地址：https://aistudio.baidu.com/aistudio/projectdetail/131380 为了进一步提高识别速度和效率，Edgeboard 会在运行时进行动态量化，这样会有一定的精度损失。我们会基于此模型在 AI Studio 上进行 INT8 量化训练，训练一个 INT8 的模型，来弥补精度损失。 3.3.3. 模型的布署与测试 （1）Paddle Lite 支持 Fpga 硬件原理 Paddle Lite 完整支持从 Mobile 到 Server 多种硬件，这主要得益于对不同硬件的统一抽象，不同的硬件提供统一的接口给上层框架，形成了硬件的可插拔，极大方便了底层硬件的扩展与支持。Fpga 作为 Paddle Lite 的 Backends 之一，将自身硬件相关的 kernel、驱动及内核进行了包装并向 Paddle Lite 提供了统一的 op 调用接口，使得 Paddle Lite 能很方便的集成 Fpga 的计算能力。同时通过 Paddle Lite 上层框架对模型的优化能力，包括各种 op 融合、计算剪枝、存储复用、量化融合的优化 pass, 以及 kernel 的最优调度、混合布署等功能，进一步实现了模型加速。 （2）EdgeBoard 模型布署 利用 Paddle Lite 在 EdgeBoard 上进行模型布署很简单，只需将 include 下头文件包含到调用 Paddle Lite 的代码文件中，将静态库文件与工程文件联编成可执行程序，替换模型即可运行。训练模型效果对比： 3.3.4. 实验总结 本课程利用 Paddle Lite 推理引擎在 EdgeBoard 计算卡上布署 Inceptionv4 蔬菜识别模型，实现了边缘端智能识别蔬菜品类的功能，可用于多种场景。整个应用借助 Paddle Lite 的上层框架优化能力与 Fpga 的底层计算加速能力，每秒可识别 30 帧，真正实现实时高效的蔬菜识别。 本课程具有极高的拓展性，由于 Paddle Lite 可以和 PaddlePaddle 模型无缝对接，加上 EdgeBoard 计算卡的软件可持续迭代、op 持续更新等特点，在模型支持上的数量上和速度上均会有很大优势，如本文所用模型也可以更换的分类模型或检测模型。
4. Paddle Lite 项目未来计划
Paddle Lite 未来计划如下，10 月发布正式版，每个月一个版本高效迭代：
