全场景AI推理引擎MindSpore Lite， 助力HMS Core视频编辑服务打造更智能的剪辑体验

Posted 2022-05-03 华为移动服务

移动互联网的发展给人们的社交和娱乐方式带来了很大的改变，以vlog、短视频等为代表的新兴文化样态正受到越来越多人的青睐。同时，随着AI智能、美颜修图等功能在图像视频编辑App中的应用，促使视频编辑效率和视频效果得到了很大的提升，也让视频应用场景更加丰富。

当前剪辑产品功能多样、素材丰富，但是开发周期较长、门槛较高。为了让剪辑软件更加智能、简单易用，提升开发者的效率，HMS Core 6为开发者提供视频编辑服务（Video Editor Kit），提供视频导入、编辑、渲染、导出、媒资管理等一站式视频处理能力。除了支持完整的传统视频编辑功能，视频编辑服务还提供了诸如专属滤镜、人物追踪、一键染发等丰富的AI处理能力辅助视频创作，为用户带来更加畅快的创作灵感，打造更加智能的剪辑体验。

图1. 基于AI能力的专属滤镜、人物追踪、一键染发效果展示

多样化的智能视频处理能力是由一个个神经网络模型实现的，由于训练好的模型文件较大（单个模型大小一般为十几甚至几十兆），而手机等设备ROM和RAM空间大小有限，如何以更少的终端设备空间占用为开发者提供更丰富的智能化视频处理能力，成为移动应用视频编辑面临的一大挑战。

为解决以上挑战，HMS Core视频编辑服务选择使用华为自研AI框架MindSpore Lite进行神经网络模型推理。MindSpore Lite是一款全场景AI推理引擎，通过统一API接口支持在端、边、云的不同环境快速部署，支持HarmonyOS、android、ios、Windows等多种操作系统，支持Ascend、GPU、CPU（x86、arm……）等多种硬件执行。除支持MindSpore训练出的模型格式，MindSpore Lite还支持TensorFlow，TensorFlow Lite、Caffe、ONNX等第三方模型格式的转换及推理。

图2. MindSpore Lite架构图

MindSpore Lite为AI模型推理提供高性能和超轻量的解决方案：通过高效的内核算法和汇编级优化，以及CPU、GPU、NPU的异构调度，可以充分发挥硬件算力，实现最小化推理时延和功耗；提供模型量化压缩技术，采用训练后量化（Post-Training Quantization, PTQ），无需数据集即可直接将权重数据从浮点型映射到低比特的定点数据，有效降低模型大小，助力AI模型在资源受限环境下的部署执行。

图3. 量化技术原理介绍

针对权重数据的量化支持固定比特量化和混合比特量化两种形式。固定比特量化采用Bit-Packing的方式，支持1-16任意比特的权重量化，满足用户在不同压缩场景下的要求，同时针对模型量化后的数据分布情况，自动选择合适的编码策略进行压缩编码，从而达到最优的压缩效果。

图4. 固定比特量化压缩

混合比特量化根据神经网络不同层对量化损失的敏感度不同的特点，采用均方误差作为优化目标，自动搜索出最适合当前层的比特位，在保证精度的同时实现更大的压缩率。同时针对量化后的模型，采用有限状态熵(Finite State Entropy, FSE)对量化后的权重数据进行熵编码进一步压缩，实现对模型的高效压缩，提升模型传输速率和减少模型存储空间。

图5. 混合比特量化压缩

除此之外，量化时还会采用Bias Correction的方式，最小化其量化误差。Bias Correction会根据权重数据固有的统计学特性，反量化时对其进行校准，使权重值量化前后具有相同的期望和方差，能够大幅度提高模型精度。
视频编辑服务中的AI模型采用MindSpore Lite提供的混合比特量化方式，最终在保证精度的同时达到了平均5x+的模型压缩效果，例如一键染发的模型从原来的20.86M压缩到3.76M，有效解决了模型过多、文件过大导致的部署困难问题。

图6. 视频编辑模型量化效果（来源于MindSpore Lite实测数据）

通过对AI模型的量化压缩，在ROM空间占用不变的前提下，保障剪辑产品可以部署更多的AI模型，充分发挥AI能力来提供更多的特效应用场景，使得剪辑功能更加强大、更加智能。华为官方剪辑软件花瓣剪辑在接入视频编辑服务能力后，用户可通过使用专属滤镜、人物追踪等AI视频剪辑功能（部分特性随花瓣剪辑App升级陆续开放），让视频剪辑更便捷和更富有趣味性。

MindSpore Lite致力于打造高性能、超轻量级的全场景 AI引擎，除高性能内核算法及硬件异构调度、量化压缩之外，还提供端云协同的一站式训练和推理能力。HMS Core视频编辑服务基于MindSpore Lite，助力开发者打造更加易用且智能的剪辑工具。

欲了解更多信息，欢迎访问官网

华为开发者联盟HMS Core官网

MindSpore官网

MindSpore开源社区