解码北京冬奥沉浸式报道黑科技： 阿里云视频云「互动虚拟演播技术」

Posted 2022-03-02 阿里云视频云

这个冬奥季，即便你在冰雪之外，也能透过播报感受同在。这就是互动虚拟演播技术带来的。

“虚拟演播厅”在东京奥运会就曾进入奥运村，而在2022冬奥期，其技术方案全面升级，达到广电级导播效果的同时，接入门槛极大降低，大大拓展了该技术的应用场景。同时在链路上打通RTC和GRTN网络，将多机位、多视角实时同步技术能力，与RTC实时连麦、异地开播能力结合，可实现主播、嘉宾的多层虚拟背景等能力叠加，提升沉浸式直播体验，在互动效果上全面提升到新境界，助力打造北京冬奥赛事的沉浸式报道。

百年奥运首次启用互动虚拟演播 —打造沉浸式报道

2022北京冬奥虽于冰雪之际，但观众高燃的热情像一场冰与火之歌。对于赛场上的瞩目之星，我们都很期待听到、看到、感受到他们在赛后真实的声音、风采和谈吐之相。

于是，早在冬奥会前期，CGTN（China Global Television Network）就在策划制作全球冬奥运动员、冰雪明星的系列采访报道，期望实时而精彩地呈现运动员的赛事采访，而互动虚拟演播技术的全新突破，正是CGTN此次落实冬奥采访项目的最佳选择。

通常而言，媒体异地采访需要连线App，且运动员的受访环境很不可控，于是，想展现好的人物采访画面效果，需要实景抠像再合成于虚拟直播间，同时还要达到赛事结束后采访的实时传播效果，这对技术提出很大的挑战。于是，阿里云视频云全新升级的“互动虚拟演播“技术在2022冬奥会就此登场，解决了这一难题。

作为全新的云导播实时互动虚拟演播技术，这是奥运会第一次启用，为CGTN在北京冬奥会的记者连线报道场景中充分应用，打造了此次奥运赛事报道的沉浸式体验。

该项技术在冬奥会期间全程助力CGTN进行了赛事异地采访、实景抠像合成的虚拟直播，打造了异地互动的新形态播报，实现全链路制播上云，对传统新闻节目制作打造了全新场景。

同时，通过在音视频互动APP上实时连线，实现了导播人员和记者异地实时通讯，第一时间将新闻报道传递给观众。通过云导播与RTC（音视频通信）的全面打通，可自动获取连线直播间流，实现新闻采访与直播观看同步进行。此外，通过云端实景抠像算法技术能力，达到了极致精细的抠像合成效果。

这是百年奥运首次使用“互动虚拟演播厅”进行沉浸式赛事报道，改变了传统电视台记者的采访形式，再也无需记者携摄像团队，载着沉重设备到处奔波，更无需以往一定要将记者与受访者设置于同一现场的固封模式。只要通过阿里云视频云互动虚拟演播产品，采访任务仅需“两部手机+一台电脑”，即可随时随地展开采访直播与转播，从而革新了媒体生产与传播的技术链路，实现全链路制播上云的同时，也让赛事观众体验到更沉浸的播报视感。
“互动虚拟演播厅”示意图

三项国内首个突破性超级能力 —业界尖端技术

能够在此次冬奥会实现创新方案落地，打造实时互动的沉浸式赛事报道，源于阿里云视频云在虚拟演播厅产品上的深度打磨和三点战略性的技术突破：

国内首个纯云端实景抠像合流技术

此次的互动虚拟演播方案，是针对冬奥会打磨的新实景抠像算法与引擎能力，它第一次采用实景预设背景抠像，第一次采用多机位切换抠像，第一次采用4路抠像源（绿幕+实景）同时实时抠像处理。

众多“第一次”带来的价值是，满足了冬奥会级别的世界顶级赛事直播要求，将实景抠像效果达到业内天花板水平。

对标广电级别的节目要求，阿里云视频云正是利用算法打破技术壁垒，通过尝试多种算法和工程模型，一次次突破自我，提升实景抠像的效果和性能。在各种采访环境不可控的杂乱背景下，技术均可处理得非常完美，让冬奥的赛外内容播报体验极大提升。

国内首家“端云无缝衔接”的导播平台

在此次冬奥会中，互动虚拟演播厅首次打通了RTC和GRTN 网络，将多机位、多视角实时同步技术能力，与RTC实时连麦、异地开播能力进行结合。

一般情况下，导播台是一直缺乏端侧能力的，于是无法实现实时互动场景，虽然也可以尝试和内外部各种App应用联合，但因为种种原因很难真正落地。

此次阿里云视频云RTC技术结合了导播台，进行虚拟演播厅产品的深度改造和联动，并且对App端的界面效果和性能完成全面优化，为普通用户提供了简单、稳定的连线功能，真正实现了“互动虚拟”演播能力。

业界广电级导播能力

全新的互动虚拟演播厅，全面满足超低延时、超稳定、超高并发的特性，达到广电级导播能力。

从连麦App端到导播合流输出全链路超低延时，实现连麦端实时通讯、导播台“抠像+合成渲染输出”，最快2-3S内即可完成所有流程。在多人、多地同时开播、长时间连线开播情况下，对多背景抠图的处理场景可以达到稳定处理零断流的效果。整个方案落地，可经受住大规模的分发、观看的考验，对超高并发依旧稳定出色。
“互动虚拟演播厅”制作全链路

技术升级，先后助力两届奥运会 —创造奥运新纪元

在东京冬奥会，阿里云视频云的虚拟演播厅就曾进入奥运村。当时，身处日本东京和中国北京两地的企业代表，通过云导播台的虚拟演播厅、实时字幕等能力，顺畅完成沉浸式直播连线。

2020东京奥运会 虚拟演播厅让两地“同现”奥运村

本次2022北京冬奥，为了结合CGTN的记者采访和报道场景，同时满足央视记者深度沉浸式报道的观感，阿里云视频云重点对互动虚拟演播方案，进行几个方面的深度升级：

第一，重点对实景抠像打造了新的算法引擎和极致效果，解决了实景抠像边缘粗糙，抖动等问题，抠像效果精细到人物发丝，真实细腻的效果促进了产品的可应用性，打破行业实景抠像壁垒。

第二，丰富了云导播在场景端侧的接入能力，实现“实时互动+导播”的完整方案，打造了“实时互动”场景，并且，通过App端简单便捷的开播，让使用门槛非常之低，从而高度满足了电视台记者群体的使用诉求。虚拟演播厅强化增补了前链路的推流互动环节，更进一步实现了沉浸、实时的直播体验。

第三，全面升级导播稳定性、超长时间连麦稳定性、抠像稳定性、音视频互动App性能等，从而全方位满足异地、多人、多场景、超长时间的连麦和直播需求，对于复杂的多场景（单人/双人、远景/近景、直播中插垫片）实现无缝切换，真正达到广电级别的节目制作水准。

全面的技术升级，将“虚拟演播厅”升级为具有实时互动沉浸效果的“互动虚拟演播厅“产品方案，从而为2022冬奥会带来赛事报道的全新体验。

互动虚拟演播的更多空间—更多场景价值

北京冬奥会即将谢幕，互动虚拟演播还将继续支持残奥会的实时沉浸连线播报。奥运会这样的超级赛事打磨了技术方案，让其不仅服务于此。

作为全新的云导播实时互动虚拟演播技术，互动虚拟演播厅可以通过低门槛地使用音视频互动App，以发起直播与实时连线互动，同时，基于云端抠像与虚拟背景合成的能力，提供“端到云到端”的虚拟演播解决方案，从而打造沉浸式直播体验。

它是专门为远程互动打造，实现虚拟直播间的沉浸体验。此外，也为远程制作、异地互动直播的场景提供解决方案，如身处在滑雪场的运动员可以和新闻中心的主持人进行异地的虚拟合屏，并可进行实时互动采访。

从实际的应用场域，不仅支撑体育竞技、国内外赛事类的现场转播、远程解说、多主持人模式等场景，互动虚拟演播厅还可落地于更多行业场景，如电商与活动的直播支持、会议的多模式转播，以及各种类型的异地连线与虚拟访谈，场景广泛，能力丰富，均可实现。

总言之，实践与沉淀于2022北京冬奥会，阿里云视频云会将互动虚拟演播解决方案进一步深化为更强的产品力输出，面向涉及直播场景的各行业提供远程开播、虚拟直播间的解决方案。

从后继发展来看，在技术升级和产品优化上，“互动虚拟演播”会围绕三个方向继续演进突破：

首先，在实现了低门槛接入之后，更强调实现持续降本，提升整个产品性价比和竞争力；再者，加强完善端侧布局，丰富导播互动能力（如观众端播放画面的返送等），从而提供更完善的互动虚拟演播方案。在此之外，在物理与虚拟世界穿梭构建的大趋势之下，将深度结合“虚拟演播厅”的概念，探索虚拟人、3D背景等能力的结合与落地，打造虚拟直播间的更多可能。

未来的互动虚拟演播，技术更前瞻，门槛更低简，场景更丰富，互动更多元，效果更沉浸。借冬奥之光，技术普惠就在眼前。

「视频云技术」你最值得关注的音视频技术公众号，每周推送来自阿里云一线的实践技术文章，在这里与音视频领域一流工程师交流切磋。公众号后台回复【技术】可加入阿里云视频云产品技术交流群，和业内大咖一起探讨音视频技术，获取更多行业最新信息。