边缘人工智能推理框架Tengine

Posted 2023-05-20 吴建明

边缘人工智能推理框架Tengine

Tengine是OPEN AI LAB拥有自主知识产权的边缘人工智能推理框架，致力于解决AIoT产业所面临的碎片化问题，加速AI的部署和普及，惠及千行百业。Tengine基于纯C打造，将轻量化无依赖做到极致，适合在各种软硬件资源受限的嵌入式环境下使用部署轻量的AI算法模型用于语音、视觉等应用。

目前，Tengine是市面上唯一可在各种嵌入式操作系统上运行的AI推理框架。不但可以在FreeRTOS\\RTT\\Lite-OS等极简的实时操作系统或裸机Bare-matel上运行，还可以在MCU、RISC-V等低功耗、资源极为有限的IoT芯片主控上运行。

1. Tengine的核心能力

Tengine是一个嵌入式的AI推理框架，帮助算法开发者解决在AI快速产业化落地中遇到的各个瓶颈难题。有两个特点，一是物理位置层面，其所关注的重点是嵌入式设备，也就是海量的AIoT应用设备，而非服务器集群；二是业务模式层面，重点在于推理，并非训练。

1.1 跨OS/算法框架适配

对于开发者而言，训练只是第一步，训练后获得推理模型的有效部署才是解决场景问题的关键，快速的硬件平台迁移及高效部署已经成为AIoT产业快速发展的掣肘。

Tengine目前广泛支持市面上主流的模型格式，如TensorFlow、Caffe和MXNet，并且通过ONNX模型实现了对PyTorch和PaddlePaddle的支持，让开发者能更自由地选择训练框架，降低了面对不同硬件和场景而迁移平台的成本。

在操作系统层面，由于AIoT场景的差异化及非收敛性，Android、Ubuntu、RTOS等各有其适配的产品形态，Tengine同样在OS层面进行了兼容适配，以简化AI开发者的开发流程。

1.2 跨OS/算法框架适配 跨芯片平台适配

为了助力产业提速增效，Tengine为开发者提供跨硬件设备的统一开发平台，在不同硬件设备上的API都尽可能保持一致，帮助开发者以一致的方式实现对不同芯片的有效调用适配。

开发者仅仅需要通过Tengine API，就能充分调用包括MCU、Arm Cortex-A/M系列处理器、Arm中国周易AIPU，以及海思NNIE、瑞芯微RK3399Pro NPU等等在内的芯片算力。

1.3 异构/加速支持，芯片有效性提升

业务跑通是第一步，跑得快跑得好才是芯片优势的核心体现。Tengine通过异构计算技术，能够帮助开发者同时调用CPU、GPU、DSP、NPU等不同计算单元的运算资源，进一步提升芯片有效性，以完成AI网络计算。

1.4 超轻量无依赖

在AIoT非常多场景中，考虑功耗、成本等要素，往往对于资源的分配极为苛刻，不依赖外部库很多时候会成为工程化场景的一大诉求。通过对框架设计进行一系列的简化和轻量处理，Tengine最小程序体积能达到300KB，在MCU上最小体积为20KB，并且自带视觉、语音的前后处理函数，对额外资源的占用进一步优化，提升芯片的适用范围和潜力。

1.5 全栈部署移植支持

Tengine从诞生至今，已开发出具备量化训练工具、调试工具、模型库、编译器等工具在内的完整工具链，能进一步满足开发者的各类高精度应用需求。

2.1 Tengine推理流程

依照顺序调用Tengine核心API如下：

2.2 init_tengine

初始化Tengine，该函数在程序中只要调用一次即可。

2.3 create_graph

解析输入的timfile模型文件，创建Tengine计算图。

2.4 prerun_graph

预运行，准备计算图推理所需资源。设置大小核，核个数、核亲和性、数据精度都在这里。

struct options

int num_thread;//核个数设置，

int cluster;//大小核设置，可选TENGINE_CLUSTER_[ALL,BIG，MEDIUM，LITTLE]

int precision;//精度设置，TENGINE_MODE_[FP32,FP16,HYBRID_INT8,UINT8,INT8]

uint64_t affinity;//核亲和性掩码，绑定具体核，

;

3.1 run_graph

启动Tengine计算图推理。

3.2 postrun_graph

停止运行graph，并释放graph占据的资源。

3.3 destroy_graph

销毁graph。

3.4 TVM与Tengine区别与联系

3.4.1联系

TVM与Tengine都属于端到端的神经网络编译器，包含了从解析模型，图优化到张量的优化和后端代码生成。

3.4.2 区别

1. TVM框架

TVM通过把图到op生成规则这一步进一步抽象化，把生成规则本身分成各个操作原语，在需要的时候加以组合。基于tvm我们可以快速地组合出不同的schedule方案。同时集成了自动优化功能，TVM 为 DL模型的每一层产生针对输入形状和布局优化过的算子，从而带来巨大的性能增益。TVM 提出了自动调度优化器

（Automated Schedule Optimizer），它包含两个主要组件：

1）调度探索器（Schedule Explorer），用来提出潜在的、有前途的优化配置。

2）基于机器学习的开销模型（ML-based Cost Model），用来预测和评估给定配置的表现。

总结成一句话：让AI来编译优化AI系统底层算子。

2. Tengine框架

现在Tengine开源部分的算子分别对于不同的平台分为arm32，arm64，ref，x86。其中arm32与arm64是针对端侧平台的算子优化，以arm汇编和arm neon为主来进行计算部分的优化，可以大大提高计算效率。X86则是针对Convolution和FullyConnected层在x86平台上进行加速。优化部分只针对需要大量计算的算子，对于其余的算子则是通过加载reference算子来实现。不过Tenngine框架算子层级的算子自动优化工具Autokernel也正在开发中，目标是从小处着手，把算子层级的优化做好，做到极致。

4.1 Transformer、强化学习算法的RISC-V向量指令加速验证

4.1.1 验证背景

本次验证主要是基于RISC-V对神经网络算法——Transformer及强化学习(Reinforcement Learning, RL)进行SIMD向量优化，并将其部署在基于平头哥提供的C908处理器的FPGA上进行测试,对算法优化前后的性能进行对比分析。

4.1.2 Transformer、强化学习算法模型模型流程分析

本次验证采用Transformer衍生出来的预训练语言模型(无监督模型)——bert模型以及指基于深度学习Qlearning算法的DQN算法进行验证。采用由OPEN AI LAB主导开发的边缘AI计算框架Tengine在端侧进行环境部署。Tengine提供的模型转化工具Convert Tool可将TensorFlow/PyTorch等主流训练框架的模型转换成Tengine独特的模型格式timfile。 DQN模型中的gemm算子和bert模型中的MatMul算子等weight为二维的算子，在转换

为timfile模型后，都会转换成FC(FullyConnected)算子。转换后的两种模型的具体流程如下图所示：

1. bert模型局部

 2. DQN模型

可用Netron工具解析模型文件的详细流程，方便后续的分析及优化。

人工智能芯片与自动驾驶

云边协同与人工智能AI的深度融合（云端训练边端推理）

在面向物联网、大流量等场景下，为了满足更广连接、更低时延、更好控制等需求，云计算在向一种更加全局化的分布式节点组合形态进阶，边缘计算是其向边缘侧分布式拓展的新触角。

以物联网场景举例，设备产生大量数据，上传到云端进行处理，会对云端造成巨大压力，为分担云端的压力，边缘计算节点可以负责自己范围内的数据计算。

同时，经过处理的数据从边缘节点汇聚到中心云，云计算做大数据分析挖掘、数据共享，同时进行算法模型的训练和升级，升级后的算法推送到边缘，使边缘设备更新和升级，完成自主学习闭环。

对于边缘AI总体来说，核心诉求是高性能、低成本、高灵活性。其技术发展趋势可总结为以下几点：

• 可编程性、通用性；
• 伸缩性，同一个架构支持不同场景
• 低功耗，适应更多边缘场景的环境和电力要求
• 软硬件深度结合
• 高效的分布式互联和协作计算能力

笔者分别从边缘计算AI加速、端/边/云协同以及边缘计算AI框架等三个部分继续深入剖析AI应用与边缘计算结合之后的双向优化，进一步优化AI应用的用户体验。

1、边缘计算AI加速

针对基于边缘计算场景进行AI加速，笔者参考相关论文认为大致可归结为以下四个方面：

1.1 云边协同（云端训练、边缘推理）

为弥补边缘设备计算、存储等能力的不足，满足人工智能方法训练过程中对强大计算能力、存储能力的需求，研究人员提出云计算和边缘计算协同服务架构。如下图所示，研究人员提出将训练过程部署在云端，而将训练好的模型部署在边缘设备。显然，这种服务模型能够在一定程度上弥补人工智能在边缘设备上对计算、存储等能力的需求。

1.2 模型分割（云边协同推理）

为了将人工智能方法部署在边缘设备，如下图提出了切割训练模型，它是一种边缘服务器和终端设备协同训练的方法。它将计算量大的计算任务卸载到边缘端服务器进行计算，而计算量小的计算任务则保留在终端设备本地进行计算。显然，上述终端设备与边缘服务器协同推断的方法能有效地降低深度学习模型的推断时延。然而，不同的模型切分点将导致不同的计算时间，因此需要选择最佳的模型切分点，以最大化地发挥终端与边缘协同的优势。

1.3 模型裁剪

为了减少人工智能方法对计算、存储等能力的需求，一些研究人员提出了一系列的技术，在不影响准确度的情况下裁剪训练模型，如在训练过程中丢弃非必要数据、稀疏数据表示、稀疏代价函数等。下图展示了一个裁剪的多层感知网络，网络中许多神经元的值为零，这些神经元在计算过程中不起作用，因而可以将其移除，以减少训练过程中对计算和存储的需求，尽可能使训练过程在边缘设备进行。在参考文献中，作者也提出了一些压缩、裁剪技巧，能够在几乎不影响准确度的情况下极大地减少网络神经元的个数。

1.4 设计轻量级加速体系架构

在工业界，有很多公司开始研究低功耗加速芯片。如寒武纪公司推出的思元系列及华为公司推出的昇腾系列，能够适配并兼容多样化的硬件架构，进而支撑边缘计算典型的应用场景。

在学术界，对于边缘AI硬件的设计工作主要集中在提高深度神经网络及相关算法如CNN、FCN和RNN等的计算性能和效率。研究人员利用神经网络的冗余和弹性等特性来优化计算操作和数据移动，以降低NN算法在专用硬件上的功耗并提高性能。下表总结了一些低功耗机器学习处理器的相关情况。

AI在过去几年中，为互联网应用、工业互联网、医学和生物学及自动驾驶等领域带来了突飞猛进的进展。同时，随着边缘计算的逐步成熟，业界必将更加关注边缘计算AI加速方面的研究进展。

由于边缘计算场景的特点，其硬件的异构化程度会显著高于传统数据中心，对现有计算框架也会有非常大的挑战。如何快速支持异构的计算芯片并保证计算的高效，也非常值得产业内的研发力量持续投入。

2 端/边/云协同

在云边协同的过程中，边缘计算主要对需要实时处理的数据进行处理，并为云端提供高价值的数据；云计算则负责非实时、长周期数据的处理，并完成边缘应用的全生命周期管理。下面分别介绍这6种协同方式。

• IaaS：基础设施服务，Infrastructure-as-a-service
• PaaS：平台服务，Platform-as-a-service
• SaaS：软件服务，Software-as-a-service

2.1 资源协同

资源协同：边缘节点提供计算、存储、网络、虚拟化等基础设施资源，具有本地资源调度管理能力，也接收并执行云端的资源调度管理策略；云端则提供资源调度管理策略，包括边缘节点的设备管理、资源管理以及网络连接管理。

对于边缘计算，需要对计算资源和网络资源有全局的判断，比如边缘设备、边缘节点及中心云资源的使用情况，站在全局角度，进行资源的合理分配，确保性能、成本、服务最优。

2.1.1 计算卸载

近年来，人们提出了两种计算卸载方法：卸载到云端和卸载到边缘端。其中，卸载到云端允许用户将计算密集型任务卸载到资源强大的云服务器上进行处理；卸载到边缘端是在网络边缘部署云服务，以提供相邻的 IT 服务环境。许多研究者利用这两种方法来研究时延最小化和能耗最小化问题。然而，卸载到云端会因传输距离远而无法很好地处理时延敏感性应用，因此目前大多数研究是把计算任务卸载到边缘端。

2.1.2 资源管理策略

资源管理策略一直都是学术界和产业界的研究重点，包括边缘端的本地资源管理与云端的资源管理。边缘计算与云计算协同的资源管理策略对于数据密集型计算非常重要。例如，智能交通、智慧城市以及无人驾驶汽车等都需要减少服务器延迟并提高 Qos.

2.2 数据协同

边缘节点负责终端设备数据的收集，并对数据进行初步处理与分析，然后将处理后的数据发送至云端；云端对海量的数据进行存储、分析与价值挖掘。主要包括两个要点：

• 数据收集与处理
• 数据存储与分析
  

边缘AI会处理用户的数据，可以从两个维度来考虑。

一方面，横向考虑，边缘的网络环境多种多样，终端用户设备具有移动性，可能会从一个服务节点移动到另一个服务节点，从一个边缘移动到另一个边缘，从WiFi切换为5G移动网络，甚至从一个运营商切换到另一个运营商，那么用户在旧的环境中产生的数据如何与新环境中的AI程序进行同步会成为一个问题。这里的数据协同不仅需要技术上的支持，更需要商业模式上的支持。

另一方面，纵向考虑，如下图所示，用户在边缘侧产生的数据按照隐私级别可以分为不同类型，如User-Private、Edge-Private、Public等，这些数据可以自下而上分层储存在云边协同系统中的不同层级的数据库中，同时也可以对应不同算力支持的边缘AI的访问权限，例如可以允许云上运行的AI程序读取Public数据来训练一个通用的模型，在边缘侧的AI可以读取Edge-Private数据来在通用模型的基础上训练边缘模型等等。

2.3 智能协同

边缘端负责深度学习模型的推理，实现分布式智能；云端负责深度学习模型的集中式训练，然后将训练好的模型下发至边缘端。

以往的研究都是在云端进行人工智能模型的训练、优化和推理，原因是模型的训练和优化需要大量的资源，云服务则是最适合的方案。然而，模型的推理需要的资源比训练、优化少得多，并且有新数据需要实时推理。因 此，在边缘侧进行模型的推理已逐渐成为新的研究热点。考虑到边缘节点的计算存储资源有限，如何减小模型大小和优化模型在边缘推理中 显得尤为重要。常见模型压缩方法主要包括网络剪枝、知识蒸馏、参数量化、结构优化。

• 1）网络剪枝，通常网络模型参数过多有些权重接近0，或者神经元的输出为 0，可以将这些多余的参数从网络中移除。具体步骤为预训练一个比较庞大的模型，评估每个权重和神经元的重要性，按照参数重要性排序，删除不重要的参数，将缩小的模型用训练数据重新微调一次，可以减小损失，如果模型缩小之后仍然没达到要求则重新评估权重和神经元迭代操作。
• 2）知识蒸馏，基本思想是可以先训练一个规模大的初始网络，再训练一个小的子网络去学习大的初始网络的行为。使用初始网络的输出来训练而不直接使用标注数据，是因为初始网络可以提供更多的信息，输入一个样本后初始网络会输出各种类别的概率值，这比单纯的标签信息要更丰富。
• 3）参数量化，如果说网络剪枝是通过减少权重的数量来压缩模型，那么量化则是通过减少权重的大小来压缩模型。量化通常是将大集合值映射到小集合值的过程，这意味着输出包含的可能值范围比输入小，理想情况下在该过程中不会丢失太多信息[86]。参数量化会使用更少的空间的来存储一个参数，然后使用聚类中心来代替整个类的值，这样可以减少参数的储存。
• 4）结构优化，通过调整网络结构使得其只需要较少的参数，常见方法为低秩近似与切除分离卷积。深层神经网络通常存在大量重复参数，不同层或通道之间存在许多相似性或冗余性，低秩近似的目标是使用较少滤波器的线性组合来近似一个层的大量冗余滤波器，以这种方式压缩层减少了网络的内存占用以及卷积运算的计算复杂性，实现加速。切除分离卷积方法则是将计算进行拆分，共用部分参数，最终实现参数规模缩小。
  

通过合理的模型拆解，将不同的服务模型根据资源、成本、质量、时延等要求部署在合适的位置。通过完成的协同计算框架，确保各子模型之间的协同处理。比如结合产品设计，我们可以将简单的识别推理全部置于端侧设备，如需要判断视频中的物体属于动物还是植物等。

但是进一步的识别功能，我们可以结合边缘侧的推理能力，识别动物为猫科动物或犬科动物等。如果用户需要更加精细的识别，我们可以将边缘侧的识别结果及处理之后得到的特征数据发送至云端，结合云端完善的数据模型和知识体系，将该猫科动物判定为是东北虎还是华南虎。这样通过端、边、云三者的协同，能够在极大保证用户体验的同时，合理的使用各类资源。

合理利用算力协同，也能够做到在边缘侧进行训练。目前工业界还没有成熟的模式，但学术界有相关的研究。如下图所示的ICE智能协同计算框架，将边缘AI的训练分为三个阶段：

• 第一阶段为预训练阶段（pre-train），云上的应用可以通过读取云端存储的公共数据，来训练一个通用的模型，这是边缘AI的底座，如果没有云端强大算力的帮助，只靠边缘侧算力是难以得到比云端训练更优秀的AI模型。
• 第二阶段将通用模型下发至边缘侧，读取边缘私有数据，通过转移学习（Transfer Learning），来得到边缘模型。
• 第三阶段读取增量数据，利用增量学习（Incremental Learning）生成最终边缘模型，这个最终边缘模型就可以用于用户侧的推理了。

这种三步学习的算力协同的模式，可以更好地满足边缘智能的个性化服务需求。

通过资源协同、算力协同以及数据协同，边缘智能能够高效合理的利用端、边、云的各类资源，极大地优化AI应用在边缘计算场景下的用户体验，进一步放大AI应用的商业价值。

2.4 业务编排协同

边缘节点提供模块化、微服务化的应用实例；云端提供按照客户需求实现业务的编排能力。

与传统的集中式处理的大型应用程序不同，微服务可 以实现功能模块之间的完全解耦。边缘节点通过模块化分解，将一个对象分解为具有特定接口的单个模块。每个模块服务于一个特定的功能，通过指定的接口进行连接，而每个功能都有多个应用实例。用户通过在服务器调用应用实例来访问服务实现请求，具有相同功能的多个服务实例可以部署在不同的服务器上，使得边缘服务器提供应用实例成为快速响应用户请求与时延敏感性应用程序的不二之选。

2.5 应用管理协同

最近有些研究关注边缘计算应用的部署与运行环境，这是因为边缘计算提供分布式云计算功能和高性能、低延迟、高带宽的服务环境。然而，应用类型和所处边缘位置的不同，会导致边缘计算硬件的选择部署和提供的环境不同。例 如，边缘用户端节点设备采用低成本、低 功 耗 的 ＡＲＭ 处 理 器 或 者英特尔 Ａｔｏｍ 处理器；边缘基站服务器采用英特尔至强系列处理器。而微服务、容器及虚拟化技术等的云原生软件架构能够减少因硬件基础设施差异化带来的部署及运维问题。

如今，越来越多有影响力的 IT 公司或应用程序供应商开始借助微服务技术（如 Kubernetes）来开发复杂的应用程序。此外，借助基于容器的技术，这些基于微服务的应用程序可以轻松地部署在边缘服务器上。考虑到物联网应用程序是分布式的，且通常包含多个计算密集型任务，因此需要在每个单独的计算节点上完成应用程序的部署与管理。研究者一直在探索如何找到一个合适的、低成本的应用程序部署方案。CNCF云原生基金会开源的Kubeedge通过 Kubernetes管理远程边缘节点并使用相同的API将应用程序部署到边缘并进行管理，给应用程序带来了更好的性能，同时提升了用户体验。

2.6 服务协同

服务协同主要是指边缘计算的边缘服务与云计算的云服务进行协同。边缘节点按照云端策略实现部分EC-SaaS服务，通过 EC-SaaS与云端SaaS的协同实现面向客户的按需服务；云端主要提供SaaS服务在云端和边缘节点的服务分布策略，以及云端承担的SaaS服务能力。

最后总结一下6种协同技术的对比。

3 边缘计算AI计算框架

在云数据中心中，算法执行框架更多地执行模型训练任务，在训练过程中需要接收大规模、批量化的信息数据，比较关注训练的迭代速度和收敛率等。而在边缘设备上更多的是执行预测任务，输入一般是实时的小规模数据，大多数场景下执行预测任务，因此更加关注于预测算法执行速度及端侧或边缘侧的资源开销。

目前业界针对边缘计算场景，也提出了针对性的设计方案，例如用于移动设备或嵌入式设备的轻量级解决方案TensorFlow Lite，Caffe2和Pytorch等。

结语

云边协同是一种新型计算范式，其将云计算强大的资源能力与边缘计算超低的时延特性结合起来，实现了边缘支撑云端应用，云端助力边缘本地化需求的协同优化目标。

AI和边缘计算已获得国内外学术界和工业界的广泛关注和认可，并且已经在很多商业场景下发挥作用。将AI应用部署至边缘已成为提升智能服务的有效途径。

尽管目前边缘智能仍处于发展的初期，然而，边缘智能够产生极大的促进效果，并成为各行各业的黏合剂和智能产业发展的催化剂，促进多个行业的升级转型。

参考资料：

• [1]华为云原生团队：AI 与边缘计算结合的双向优化
• [2]黄成龙,柯宇曦,华向东等.边缘计算在智慧农业中的应用现状与展望[J].农业工程学报,2022,38(16):224-234.
• [3]田鹏新,司冠南,安兆亮等.基于数据驱动的云边智能协同综述[J/OL].计算机应用:1-10[2023-03-28].http://kns.cnki.net/kcms/detail/51.1307.TP.20230314.1518.004.html.
• [4]陈玉平,刘波,林伟伟等.云边协同综述[J].计算机科学,2021,48(03):259-268.
• [5]刘耕,赵立君,陈庆勇等.联邦学习在5G云边协同场景中的原理和应用综述[J].通讯世界,2020,27(07):50-52.