跳出思维的“盒子”，聊聊 RTE 应用创新大赛的那些作品

Posted 2021-12-24 声网Agora

由声网Agora 与环信联合主办的“RTE 2021 编程挑战赛”已圆满落幕。在今年的大赛中，来自行业中不同领域的专家参与了决赛评选，包括 Linux 中国技术社区技术负责人 白宦成、声网Agora 资深 ios 开发工程师 龚宇华、北京音视跳动首席架构师兼讲师 李超、SegmentFault 思否 CTO 祁宁、环信 CTO 赵贵宾、声网Agora Web 研发工程师 张乾泽、声网Agora SDK 资深架构师 章真。参赛作品得到了来自不同视角的评价。

我们也找到了几位评委，跟他们聊了聊他们印象深刻的创新应用，以及他们对于未来实时互动场景发展的看法。

给评委留下深刻印象的作品

今年从 200+ 支参赛队伍中脱颖而出的 46 支队伍参加了决赛。这些作品的创意、技术实现、潜在价值，各具所长，给评委们留下了很深的印象。

例如「都市探险家」项目。它是利用地图 LBS + 云信令 SDK + 实时音视频构建的社交产品。通过地理位置，不同的人可以在旅途中找到志同道合的伙伴，一起探索城市。产品中实现了多人语聊房场景，小伙伴们可以通过语音交流。评委祁宁表示“他们将游戏与现实探险结合起来，有比较良好的使用体验。并且很好的利用了声网的实时通讯能力，稍微完善一下就是一个很有前景的商业项目。”

再譬如，在 Web 端实现虚拟主播的项目「Vchat」。它是使用 tensorflow.js 的 WebGL 引擎作为后端，使用现有开源的人脸识别模型通过摄像头识别人脸的位置以及五官的状态。再通过 Three.js 和 Vrm.js 将人脸数据实时更新到虚拟的 3D 模型上。其实评委之一的张乾泽就曾在 Native 端开发过虚拟主播，但这也是他第一次看到有人用 Web 技术和机器学习实现虚拟主播，而且骨架还可替换，非常有趣。

还有获得一等奖的「Agora Home AI」以智能家居为主题，评委李超就给出过评价“它将音视频、AI、物联网三者结合到一起，给我们带来了更多的想像空间，相信这个产品经过更细致的打麿一定可以成为一个现象级的产品”。它使用云信令 SDK 实现了IoT 设备远程控制。同时，通过声网Agora RTC SDK 实现人与机器的 1V1 视频，将机器人端采集到的视频发送至 PC 控制中心，进行 AI 智能检测，触发事件响应。

其实给人印象深刻与否，与是否得到大奖无关，有时项目的初衷也能打动人。比如为了听障、视障人士开发的「译音」，评委白宦成认为，我们这些年的互联网为“健全人”做了很多，但对这些真正需要关注和帮助人群却做得太少，所以对于这样的项目，值得我们投以更多关注。

RTE 场景潜力远不止于此

〃今年的参赛者提交作品非常踊跃，大部分作品都与社会、生活紧密结合，能看出大家是真正地想解决一些实际问题而开发。〃

——评委祁宁在看过大赛作品后感言

其实，实时互动赛道还有很大的想象空间，例如评委张乾泽就提到了一个距离大家比较近的场景，就是游戏与沉浸式音视频。**游戏和沉浸式音视频体验交互应该是未来实时音视频的进化方向。**以前的实时音视频还停留在“准备好一个固定的环境，然后大家加入，在设定好的玩法下进行交互”的模式。但将来的模式可能会更强调用户之间的直接交互，由用户直接进行互动和创造玩法，进而获取沉浸式的使用体验，真正地让实时音视频像空气和水一样无处不在。

从未来看，音视频会成为一种基础服务，如何对将它与其它技术更好的结合应该是未来的一大技术方向。评委李超与祁宁都认为，如果围绕实时音视频来看，还有很多场景有待挖掘，例如利用实时音视频技术代替繁琐的短信身份认证机制；在面向养老场景上，这次也有很多参赛者开发了作品，但思路还是主要围绕音视频的通话、聊天等，其实还可以从人性化角度考虑，做出更多创新。

当然，评委们也鼓励大家跳出实时音视频的思维“禁锢”，白宦成就提出了一个想法“大家可以从计算机实现的角度来看，当我们把所有需要轮询才能实现的项目改造成实时的，产品和业务会发生什么样的变化？此外，除了对传统业务实现的改造，还可以是一些数字化场景的加入，这里面的机会很多，就看创业者愿不愿意去抓了。”

实时互动的场景还有很多值得挖掘的地方，每一次创新都有可能让用户的交互体验更沉浸。而实时互动又不只局限于音视频的交互，跳出“思维的盒子”，或许也能开辟出一片新蓝海。如果你有什么想法，也欢迎留言与我们交流。

预告

本届获奖团队将逐一详细分享他们的开发心得，后续将发布在**『声网Agora 开发者』**公众号，可以扫码关注。