端侧 AI 开发难？揭晓 HUAWEI HiAI Foundation 助力快速部署 AI 应用的「超能力」

Posted 2022-05-28 CSDN资讯

作者 | 宋慧

AI 人工智能从几年前的爆红到现在深入应用到各行各业，热度不降反升。与之相应的，在 CSDN 连续几年对开发者的年度调查报告都显示，IT 技术开发者群体里，AI 工程师一直是被追捧的高薪职位。不过随着 AI 技术快速发展，ResNet、BERT、ViT 等前沿热门算法与模型层出不穷，NPU、IPU 等 AI 底层加速硬件不断推出，AI 应用开发的挑战与复杂度也在不断升级。

以人脸识别为例，除了主流的识别模型算法，实际应用中如何提高识别精度，如何优化模型提高算力使用率，降低资源开销成本，以及让优化性能在不同终端识别设备快速落地，都是开发者需要去攻坚的技术难题。

华为作为开发生态中重要的底层技术厂商，是 CSDN 重点报道的厂商之一。针对开发者需求，华为构建了软硬件全方位开放能力服务 HMS Core，其中，HUAWEI HiAI Foundation 是为开发者提供端侧 AI 技术能力的平台。去年 CSDN 就采访报道了其中 AI 智能音视频开发服务 AV Pipeline Kit 的核心技术与设计思路。近日，CSDN 再次专访了 HUAWEI HiAI Foundation 的多位技术专家，为开发者揭秘 HUAWEI HiAI Foundation 的近期技术进展，以及解决了哪些 AI 技术开发的新难点。

详解 HMS Core 的 HUAWEI HiAI Foundation 架构，打造真正开放、平台化的 AI 技术服务

作为 HMS Core 中的 AI 技术能力的平台，HUAWEI HiAI Foundation 在 2018 年 3 月上线发布 1.0 版本，短短几年的时间，第三方 APP 的调用量已经从 1.0 的日调用量 100 万+，增长到了 2021 年每日 145 亿的调用量，总调用量更是达到了每日 600 亿次。增长的数据也从侧面印证了 AI 的发展速度与普及度的惊人，以及 HUAWEI HiAI Foundation 的过硬实力。

现在，HUAWEI HiAI Foundation 已经支持了各类深度学习框架，如 Paddle Lite、MNN、ByteNN、MindSpore Lite、TNN、KwaiNN 等。接入各种深度学习框架后，HUAWEI HiAI Foundation 推理加速平台，可以让开发者不再顾虑框架与底层硬件的优化问题，灵活选择不同的模型用于 AI 应用开发。另外，HUAWEI HiAI Foundation 构建了异构计算平台 Foundation HCL，协同 CPU、GPU、NPU 等各类底层芯片的性能，共同向上为 AI 提供算力支撑。

我们看到，现在的 AI 已经不再拘泥于高性能计算设备中，万物互联场景下，HUAWEI HiAI Foundation 平台支持手机、平板、智慧屏、车机、音箱、手表等多种设备终端。从架构上，我们能非常清晰地看到，HUAWEI HiAI Foundation 正在打造的，将是真正的开放、平台化的 AI 技术能力与服务平台。

端云协同、多 IP 协同、Model Zoo 等 HMS Core 的 HUAWEI HiAI Foundation 新特性，切实助力 AI 开发效率

除了框架上的进展和成绩，HUAWEI HiAI Foundation 团队一直在与众多头部 AI 应用开发者共同探索和推进解决 AI 开发中的实际难题。本次专访中，华为技术专家详细介绍了 HUAWEI HiAI Foundation 在近期推出的几个重要技术特性与功能服务。

首先是 HUAWEI HiAI Foundation 近期新的特性——端云协同，能够帮助 AI 性能调优快速落地。以往 AI 性能优化更新（如对 NPU 算子库的优化更新），是通过系统 ROM 更新到终端上，更新周期长，时效性大打折扣。HUAWEI HiAI Foundation 将算子库、性能优化以插件形式放置于云侧，通过端侧（如 App 更新）快速推送到端侧，端侧通过插件进行模型编译，实现性能优化。

据介绍，端云协同这一重要的功能特性已在 HarmonyOS 2.0 版本中发布，并已在多家 AI 开发者的实际业务中上线使用，可以帮助开发者将 AI 性能优化策略快速推进到端侧，以及推进 AI 应用快速上线，切实地提升 AI 开发效率。

另外，在 AI 业务的链条中，如视频解码、图像处理、渲染优化再到送显，由 ISP、NPU、CPU、GPU 等不同的 IP 算力支撑，想要数据流转顺畅，端到端获得良好体验，需要开发者对不同 IP 间衔接调试，工作量与技术难度挑战巨大。现在，HUAWEI HiAI Foundation 已实现多个 IP 高效协同，以增强性能。例如矩阵计算的 NPU，逻辑计算、控制流计算用到的 CPU、GPU，HUAWEI HiAI Foundation 通过异构实现调度使用。具体设计中，HUAWEI HiAI Foundation 异构计算平台的各计算 IP 共享 DDR 内存，全流程数据零拷贝，节点之间内存自动分配，节点自动融合优化，以及调度任务自动编排，并支持优先级控制。

第三，HUAWEI HiAI Foundation 还推出了模型量化工具包和网络结构搜索工具包等自主调优工具，去帮助开发者精准优化模型，提升 AI 的精度。例如在模型量化工具包中支持无数据量化模型和训练感知量化模型，在 16bit 和 8bit 的基础上，支持更细粒度的 4bit 和 2bit 量化，并且工具包自适应混合精度量化，在保证精度的前提下，可以让笨重的模型变得更小，降低开发的存储压力。而网络结构搜索工具包，通过自动搜索 NPU 硬件信息，调整适配更优化的模型结构，提升硬件性能。

目前，HUAWEI HiAI Foundation 平台上已有 300 多种算子接口，以及模型编译接口、模型推理接口，并兼容多平台，形成了轻量化的软件栈。另外，AI 模型庞杂，开发者在各种业务上的模型算法也各有不同，不过像视频超分、人脸识别等很多业务功能存在相似性。针对 AI 中的通用和相似功能，HUAWEI HiAI Foundation 平台推出的 Model Zoo 积累了多个基于不同业务、与底层硬件（如 NPU）调优后的最优业务模型，开放共享给开发者，开发者可以参考、借鉴、改进自身模型，提升性能，甚至将自己的优秀模型与 Model Zoo 其他开发者交流、分享。据 HUAWEI HiAI Foundation 的技术专家介绍，未来，开发者还可以通过 Model Zoo 搜索甚至定制自己所需的模型，以节省大量前期模型摸索的时间与工作量。

HUAWEI HiAI Foundation 应用实例：视频超分前后效果比较

HUAWEI HiAI Foundation 已经为各类主流应用提供了 AI 能力支撑，例如对硬件资源开销需求较大的音视频端侧视频超分、直播实时超分、端侧加速等等，使用 HUAWEI HiAI Foundation 平台的各种 AI 能力后，硬件功耗显著下降，性能与体验得到提升。

HMS Core，用 AI 支撑更多开发服务

AI 正在释放巨大的潜力，除了 HUAWEI HiAI Foundation，作为华为端云能力开放的 HMS Core， 还为开发者提供了应用服务、图形、AI、媒体、安全、连接与通信、智能终端七大领域的技术能力，除了 AI 领域，在其他服务领域中也有很多 AI 技术的身影。

例如在视频编辑服务（Video Editor Kit）中，专属滤镜、人物追踪、一键染发 等辅助视频创作的AI 处理能力，背后就是使用华为自研 AI 框架 MindSpore Lite 进行神经网络模型推理。视频编辑服务中的 AI 模型采用 MindSpore Lite 提供的混合比特量化方式，最终在保证精度的同时达到了平均 5 倍多的模型压缩效果，例如一键染发的模型从原来的 20.86M 压缩到 3.76M，有效解决了模型过多、文件过大导致的部署困难问题。通过对 AI 模型的量化压缩，在 ROM 空间占用不变的前提下，保障剪辑产品可以部署更多的 AI 模型，充分发挥 AI 能力来提供更多的特效应用场景，使得剪辑功能更加强大、更加智能。

视频编辑服务中的 AI 处理：专属滤镜、人物追踪、一键染发

再例如 HMS Core 音频编辑服务，除了传统算法，也使用了 AI 算法模型语音编解码，实现智能降噪。在其提供的文本转换语音中，通过 AI 语音合成，将文字转换为自然饱满的朗读语音，实现 AI 配音。另外，音频中整条音频链路沟通的流畅性，以及弱网下的传输，都是可以采用 AI 算法模型去改进和发力的技术点。

除了音视频之外，HMS Core 还有应用于网络优化、智能传输的 Network Kit，其通过 DNS 预取、预建链、AI 动态调参，实现千人千面的网络参数调优特性，就是通过 AI 算法，有效降低内容加载时长。另外 Network Kit 的断点续传，多任务并行，也是通过 AI 智能分片等技术，充分利用带宽，提升传输质量。

而提供机器学习能力的 ML Kit 包含了 AI 能够发挥的各方面，包括文本类识别、语音语言的翻译识别与合成、图像分类检测分割、人脸人体的识别检测和手势识别等等。

另外， HMS Core 还提供独特的手语服务，该能力是将 AI 技术带进了听障人士的应用中。除了基于深度学习的 OCR，AI 手语翻译还需要 3D 数字人建模、自然语言理解、计算机视觉、3D 动画、图形渲染、移动端 android 开发、云侧服务化等众多技术，正是 HMS Core 平台的多种技术能力协同，才能让如此复杂艰巨的技术工程，能够真正实现，落地应用。

AI 已经无处不在，为应用开发提供了创新的思路与研发助力。对 HUAWEI HiAI Foundation 等 AI 技术能力的专注投入与扎实研发，以及华为 HMS Core 一直在为开发者解决底层算力与体验中的切实问题和最新技术难点，都值得开发者持续地关注与了解。而借助 HMS Core 的技术与服务，开发者可以更高效地解决 AI 应用开发中的通用问题，专注自身所处领域的 AI 创新与研发实践，全力应对 AI 发展的机遇与挑战。