开发者的多媒体梦工厂： AV Pipeline Kit究竟是什么？

Posted 2021-10-05 脑极体

在新闻学中，有一个“媒介的双螺旋”理论，是说媒介形式必然会按照简易度和关联度两条线索螺旋向上升级。无论是印刷术、广播、电视，还是今天的短视频、直播、VR，每一种媒体形式的出现，都是为了降低用户的获取门槛，同时提升内容的关联能力。按照双螺旋理论，多媒体化的趋势是不可逆转的。而优秀的表达者、开发者、创业者，也必然需要多媒体的帮助。

移动应用开发者，本质上就是利用APP这种介质完成对用户的表达和沟通。而最能够帮助开发者提升表达效率，增强用户体验的技术，可能也就是多媒体技术了。

曾几何时，图片和文字是APP的主要载体；而今，我们很难想象一款头部APP中缺少直播、视频播放的多媒体交互形式。然而对于大部分开发者而言，多媒体功能的开发、部署和运维还存在大量痛点，甚至可能变成开发团队的过量成本消耗因素与技术软肋。

多媒体开发，本来应是充满惊喜感、愉悦感的事情，当然不该成为开发者的瓶颈。此前我们已经介绍过，7月15日HMS Core 6.0正式上线。其中有一项重要更新，叫做华为多媒体管线服务（AV Pipeline Kit）。

当时就有朋友希望我们仔细介绍一下AV Pipeline Kit。9月16日，HMS Core AV Pipeline Kit刚刚进行了一场线上直播，多个领域的专家深度讲解了AV Pipeline Kit的技术要点和应用场景。

我们今天就由此出发，看看AV Pipeline Kit究竟带来了什么，又是如何帮助开发者完成和简化音视频采集、编辑和播放等系列工作的。

AV Pipeline Kit通过一系列技术与架构设计中蕴藏的惊喜，让多媒体的开发和管理变得简单易用，触手可及。

它似乎彰显了这样一个理念：多媒体的无限可能性，本就应该是开发者在智能时代的梦工厂。

实时+智能：

多媒体与开发者的新约会

要说今天有哪位移动开发者没有研究过多媒体开发，那估计是所有人都不信的。

随着消费者“口味”的不断提升，应用的功能集成性不断增强，今天的APP早已不是简单的网页流转逻辑。试想一下，无论是社交、旅行、电商，但凡需要用户分享和内容分发的APP，在今天肯定都需要视频，甚至是直播、AR功能的加入。

但相比于图文来说，视频、音频为代表的多媒体开发与管理有着更高的技术门槛和开发工作量。尤其随着短视频、直播的普及，用户需要的多媒体玩法也更加复杂。

整体而言，多媒体开发在今天有两个核心发展趋势：一是更加实时化，需要快速完成基于视频的互动和体验升级，满足用户的及时分享与获取需要，这就需要打破传统的多媒体分发逻辑，更加关注端侧的性能和能耗；二是更加智能，AI给多媒体带来了图像识别、流媒体超分、语音交互、语音识别的种种可能，这些智能触发点极大提升了开发者的能力边界，但也要求开发者具备更强的技术能力。

在实时化、智能化的新时代，开发者与多媒体的约会虽然美好，但也有诸多挑战。

比如开发难度进一步加大，开发成本更高。很多视频+AI的开发，需要在传统管线中加入AI处理技术，这涉及到诸多数据处理能力，对于开发者来说技术门槛很高。

再有，端侧实时化的智能视频开发很可能遇到算力的瓶颈。云端处理会导致性能欠佳、体验较差，但端侧算力的性能和框架优化却无法负载，最终导致很多好的想法付诸东流。

还有一点，给APP添加多媒体功能意味着功耗开支的加大。如果多媒体缺乏优化能力，会导致APP功耗过大，容易发热，继而造成用户体验的下降。

这些痛点的存在，让复杂、创新的多媒体开发经常成为工作量大、开发成本大的工作。甚至变成开发者不得不做，但做了之后又占用人力算力过多，造成开发瓶颈的“鸡肋”工作。

那么是不是有什么办法，可以极大减少开发者在多媒体领域的工作量，并且开发综合成本极大降低呢？

瞄准这样的需求，华为海思团队在2020年年底开始了系统设计和相关调研，今年年初开启开发。在多媒体、NPU、AI算法等相关团队的协同努力下，最终让集成了多种多媒体管线技术，并且能极大压缩开发工作量的AV Pipeline Kit在7月正式发布。

开发者的创造力与智能时代的多媒体升级，开启了一场新的约会。

从智能超分到流水线编排：

打开多媒体管线的惊喜盒

从音频到视频，再到多媒体管线的编排管理，AV Pipeline Kit包含了一系列技术突破与全新的框架搭建思路。换句话说，它并不是一种单一的技术插件，而是把多种新技术、新配置方案放在一起的惊喜盒。打开它，开发者可以找到很多期待已久的礼物。

让我们通过几个AV Pipeline Kit关注的重点领域，说明其中到底蕴藏了哪些惊喜。

首先让我们来到“智能+视频”领域中最常提到的功能：视频超分。所谓“超分”，可以理解为在视频播放过程中进行智能识别与锐度优化，从而让视频看起来比原本更清晰、明丽。在大型影视和游戏制作中，超分是一种非常关键的技术，但那有赖于云端和服务器。想要在端侧在线场景中，帮助开发者获得实时化、高性能的超分，就需要从AI技术到硬件资源调用的一系列优化。

为了帮助开发者便捷获取真实可用的逐帧超分能力，实现超分不卡顿的体验，AV Pipeline Kit首先在机器视觉算法上进行了一系列技术突破。比如在AI模型结构上应用了卷积神经网络，提升了复杂真实场景的超分效果；在数据工程方面，用一系列方法还原了多媒体数据的构造过程，提升网络的优化结果；在端侧模型压缩方面，进行了新的网络小型化探索，确保超分效果可以在端侧场景中被很好地执行。

在这一系列的技术突破后，AV Pipeline Kit可以为开发者带来随时随地都能看清的超分效果。通过调用NPU提供的专项AI处理算力，AV Pipeline Kit可以实现最高三倍超分效果，将原始片源的观看体验极大提升。基于端侧AI算力和一系列算法优化，AV Pipeline Kit在网络不均衡的场景下，依旧可以启动超分并达成相对一致的体验。在给用户带来智能功能的同时，还增强了实时化的流畅体验。此外，端侧超分技术的应用可以极大降低开发者的服务器使用成本，提升开发效率。

目前，AV Pipeline Kit已经与某大型流媒体APP达成合作，用户在网络环境较差的情况下可以依赖端侧超分，观看到流畅自然的视频画质。

看过了“视频+AI”，让我们再来看看音频领域AV Pipeline Kit带来的智能加持。基于AI声音事件检测技术，开发者可以实现非常多前所未有的玩法。比如检测家中宠物叫声、检测孩子哭声、按门铃声，然后再添加相应的智能服务。

但AI声音事件检测对于开发者来说是比较复杂的技术，所需的技术资源与开发经验都很多。AV Pipeline Kit将这些功能以文件配置的形式直接带给开发者，并且其音频检测能力经过华为相关团队的长期深耕，可以确保声音识别的准确与稳定。

对于开发者来说，面对多媒体任务管理与配置时还有个很大的问题，就是相关的能力非常复杂，架构相对抽象。这一点让很多开发者望而却步，只能应用比较简单的多媒体功能，以避免在任务管理中浪费大量时间，甚至引发兼容问题。

但这种方式显然限制了开发者的想象力。AV Pipeline Kit提出了全新的解决方案，也就是流水线编排的多媒体管线服务。AV Pipeline Kit基于全新的架构梳理，实现了将不同能力抽象成对应的插件，便于框架进行管理。在实际开发场景中，开发者只需要简单配置文件，就可以实现管理多媒体管线的上下游插件，完成复杂的管线编排。

形象地理解这种操作方式，就是将多媒体任务放在同一个“工厂”的框架下，以工业流水线的形式实现对各种任务的编排管理。而各种各样的多媒体能力就成为了流水线上的产品。作为流水线和工厂的主人，开发者获得了极高的易用程度，降低了多媒体开发的技术门槛。

从AI超分技术的加入，到流水线编排的实现，AV Pipeline Kit既有新的能力突破，也有原有功能的重新构筑，可以说将多种开发者急需的能力纳入一体，带来多样且统一的惊喜盒。

从宏观的产业价值上看，AV Pipeline Kit又给成为HMS生态开发者提供了一个新的契机与理由。

软硬件一体，

构筑HMS的开发梦工厂

好莱坞被称为电影的梦工厂，不仅是因为这里是大片打造地，更因为好莱坞有各种各样的产业链、技术、生态支撑。在这里，电影人能找到各种所需的硬件、软件、人才、合作伙伴。最终才能让那些天才的想法、创造性的点子，变成大荧幕上的真实梦境。

梦工厂，从来都不是一天建造起来的，而是需要一点点累积和升级，不断增加生态的凝聚力和吸引力。致力于打造移动生态第三极的HMS，当然希望成为一座移动开发者的梦工厂。而HMS Core就肩负着这座梦工厂的技术差异化。只有在这里可以实现的技术可能性越来越多，真正满足开发者需求，这个技术生态才有活力可言。

此前，我们已经介绍过HMS Core的很多组成部分。而最新的AV Pipeline Kit则构筑了HMS Core 6.0时代关于AI和多媒体的巨大惊喜，也成为HMS技术生态的重要组成部分。

在AV Pipeline Kit背后，我们可以看到华为在端侧的整体软硬件布局，不断发挥着协同与整合的优势。比如为了实现这个Kit，就汇集了AI、多媒体、硬件等多个部门的协同合作，才最终让端侧AI超分这样的新技术，与多媒体管理平台融为一体。

再向后看，AV Pipeline Kit与更加底层的华为技术布局保持着深度融合。目前来看，业界还没有哪个平台或者技术工具，能够实现端侧化、智能化的多媒体管线服务。而AV Pipeline Kit能开创先河的原因，很大部分来自软硬件一体化的协同优势。

比如说，AV Pipeline Kit就和华为HiAI Foundation平台协同，实现了芯片底层的免拷贝式接口对接，从而节省了非常多的调用开销，让AV Pipeline Kit在华为硬件平台上可以实现更好的开发体验。

再向底层看，业界部署超分主要以CPU、GPU为主，但NPU可以带来更有针对性的优化，针对超分业务，NPU可以提供更高算力和更优的功耗，提供更好的端侧AI计算体验。NPU的能力直接助力AV Pipeline Kit，让端侧超分不仅可以实现，还可以向更具挑战性的直播等场景进发。

或许可以说，很多HMS Core的组成部分，都在更深层地调用华为在终端侧硬件、软件、AI等技术的协同与互补优势，往往能实现合力创造全新价值的技术支点。

这样的价值逻辑，将从AV Pipeline Kit延伸到更多的开发者赋能技术中。开发者们都深知，有技术才有未来，有创造性才有市场。AV Pipeline Kit以及HMS生态，就是带给他们这样一份礼物——一个可以持续期待，永远充满未来的惊喜盒；一座能用“技术打印机”，把创意变成现实的梦工厂。