阿里云视频云互动虚拟技术，打造虚拟直播最佳沉浸式体验

Posted 2022-04-28 阿里云视频云

 2022是“体育超级大年”，冬奥会、亚运会、大运会、世界杯等各类大型体育赛事贯穿全年。由于受到疫情管控和物理空间的限制，赛事直播至关重要，观众体验需求也在不断升级。

于此，企业对直播服务要求越来越高，视频直播技术创新显得格外关键。随之而来，如何利用直播技术降低线下部署导播台的成本、如何提供灵活及场景化的能力、如何确保线上内容传输安全稳定，成为许多直播类企业客户的关注点。

为了带来更好的直播体验，阿里云对视频直播产品进行重磅升级，打造一站式沉浸体验的云上虚拟直播间服务。

基于边缘推流、窄带高清转码、云上导播、全域边缘节点分发等技术能力，通过全链路灾备与应急预案等保障手段，提供高可靠、高品质、低延时的直播服务，为大型赛事与活动提供保驾护航的能力。并在此基础上，聚焦打造云端一体化的虚拟演播厅能力，为观众端塑造沉浸式直播体验。

1台电脑+2部手机：开启虚拟直播间

阿里云视频云的云端互动虚拟演播厅，提供了行业首创全链路云端实景抠像与虚拟背景合成能力，实现实时互动+导播的完整方案，通过手机APP，即可简单开播，让使用门槛大幅降低，为远程采访、异地互动、虚拟实时制作等场景，打造富有沉浸感的、达到广电级的演播体验。

全新算法引擎，随时随地异地互动开播

目前，演播厅常用的抠图技术大多与绿幕抠图相关。但绿幕抠图存在几个弊端：首先要专门搭建绿幕演播厅或者是绿幕设备，应用场景受限；同时，为了保证绿幕抠图的最佳效果，还需要加装灯光设备进行调试，甚至需要有拍摄经验的操作者进行提前的布景。

阿里云视频云利用AI技术创新对虚拟演播厅的技术方案进行了全面的升级，首次采用了实景预设背景抠像、多机位切换+实时抠像、最高6路抠像源+抠像合成处理等技术方案。从而，通过云端的多路实时实景抠像、虚拟背景生成与实时动态渲染技术，有效解决了主播与嘉宾不在同一空间，以及现场环境受限无法进行专业演播的痛点，将身处在不同地方的人合成到任意演播厅，即便身处千里之外，也能透过虚拟演播技术，体验沉浸于同一空间的互动感。

广电级水准的精细、稳定、专业

为了对标广电级别的节目规格，阿里云视频云技术团队尝试了多种算法以及工程模型，解决了实景扣像边缘粗糙、抖动等问题，抠像效果精细到人物真实细腻的效果，大大提升实景抠像的效果，也促进了产品的可应用性，打破了行业实景抠像的壁垒。

同时，也提升了超长时间直播的稳定性能，包括超长时间连麦的稳定性、抠像的稳定性、音视频互动、APP性能、全方位的满足异地多人多场景以及超长时间的连麦和直播需求。在各种采访环境不可控的杂乱背景下，阿里云虚拟演播厅技术均可以处理实现最佳的成像效果，抠像效果精细到发丝。

不仅如此，对于复杂的多场景，比如单人切换、双人远景切换、近景直播中插入电片广告等，实现了无线无缝的切换，真正的达到了广电级级别的节目制作水准及行业领先的水平。

打通RTC与GRTN，真正实现实时互动演播

除此之外，阿里云还打通了音视频通信RTC以及全球音视频实时传输网络GRTN，将多机位、多视角同步直播的技术能力与RTC实时连麦、异地开播等能力进行结合，为用户提供了简单稳定的连线功能，真正地实现了互动虚拟演播的能力。

目前，阿里云导播台支持最多12路的输入源，同时六路的抠像合成，支持自定义的背景图，支持对于抠像对象的位置和大小直接进行拖拽设置，支持只保留音频的监听模式，支持布局图层顺序调整，只需要通过简单的两三步配置即可完成快速开播。

首家“端云无缝衔接”的导播平台

虚拟演播厅也提供了多种产品使用方案。在阿里云登录直播控制台，即可以开箱即用可视化的配置和开播，可以实时的制作播出监看，调整直播内容。

本地与线上一键同步，无需开发介入，适合各种运营和业务团队的使用。此外，还可以基于完善的API服务，按需调用封装自己的直播业务系统。云导播还提供了带有控制台前端页面的完整WebSDK，可以直接嵌套集成，节省开发成本，帮助提供整套直播解决方案。

通过互动虚拟演播厅采访任务，仅需要两部手机加一台电脑，即可以随时随地的展开直播与转播，同时也让观众们可以在第一时间体验到了更具有沉浸感的播报视感。

专业直播重保：让直播服务更稳

随着直播用户增长，各平台都开始精细化运营，而保证百万量级以上并发直播活动的高可靠、高品质是各直播平台急需解决的问题。

阿里云拥有遍布全球2800+CDN节点，150+T带宽，9大直播中心，支持海外业务无缝布局，通过阿里云搭建的全球实时音视频通信网（GRTN），全世界各地的直播流可实现就近接入，通过高速通道快速传输至指定直播中心进行内容分发。

阿里云直播重保方案包含全链路稳定方案、全链路防盗链方案、千万级并发调度方案、全链路监控方案、全量链路监控方案。

对于一个重要的直播活动，为了保证推流或源站的高可用稳定，推荐使用两个推流端，分两路推到直播中心并做一次合成，合成之后再进行处理转码及分发，避免推流端的单点风险以及推流网络单点风险。

视频直播支持访问控制，如Refer UA黑白名单、IP黑白名单等，虽可做到基础防护，但是伪造也比较容易，而该加密方法拥有独立加密密钥，避免单一密钥泄密引起大范围的安全问题，支持加密转码+解密播放，动态密钥管理更安全地保护视频资源，可有效防止视频泄露和盗链问题，实现大型赛事直播版权视频内容搬运侵权的取证、溯源和追责。

对于千万级并发的直播带宽抖动是非常大的。以往年世界杯直播为例，上下半场之间有中场休息时间，画面比较简单，通过阿里云的窄带高清技术在进行传输时带宽只有峰值的三分之一或四分之一，当下半场开始时，大量用户快速涌入直播间，带宽瞬间回到峰值。短短一分钟内，带宽增长几个T或十几个T。

这样场景下的调度风险是非常大的。如何来规避这个风险呢？调度方式有三种：DNS调度、302调度，HTTPDNS调度。综合起来最好的是HTTPDNS调度，它反应速度非常快，而且也不存在那个首屏的影响，需要客户端这些做一些接入。同时，阿里云还会提前智能预测需要带宽趋势，提前分配好资源，做好大型活动赛事优先级保障，能够非常有效的防止T级带宽突发带来的风险。

在直播护航过程中，专人在后台提供全程服务保障以及全链路服务监控，从推流开始到最终播放的整个链路的情况，包括帧率、码率以及全网带宽压力情况。针对特别重大活动，阿里云还会定制类似右侧的大屏，对于每一路直播流，都会用红绿灯的方式显示通断情况，便于迅速发现哪一路流出现了问题，也可以具体观看帧率、码率以及在线的用户数。

为了看到视频直播数据信息，阿里云提供了广目系统，该把客户直播的几路直播，无论是原始流，还是转码流，合并成一路监控流进行监控。整个监控可以分成四屏、八屏或十二屏来实现一个盯屏画面。如果帧率抖动，码率异常，以及音视频的同步异常，或卡顿这种情况出现的时候，会进行实时报警。

阿里云直播重保方案，提供全链路的安全稳定保障，提供高质量的直播服务，让直播更流畅、赛事更精彩、活动更安全。

直播服务再升级：大型赛事实力验证

阿里云视频直播服务，依托遍布全球的2800多个CDN节点以及150+TB商用带宽能力，低延迟、高并发，保证赛事画面从源头稳定分发到终端；基于自研的窄带高清转码技术，降低传输码率，节省带宽，实现直播更高清、更流畅；同时，端到端、场景化的优势，可满足不同场景下的需求，极大降低企业开发门槛，助力业务快速上线。

近期的产品升级发布会，展示了阿里云视频直播所重磅升级的两大能力：虚拟直播间服务与直播重保服务，不仅提供了行业首创全链路云端实景抠像与虚拟背景合成能力，也通过全链路灾备与应急预案等保障手段，为重要活动、体育赛事、演唱会等大型在线直播场景提供高可靠、高品质、低延时的直播服务。

从去年至今，阿里云的互动虚拟演播厅方案已被广泛应用到国内各类赛事活动直播中，在东京奥运会奥运村现场，身处东京的阿里云国际体育事业部代表便曾通过阿里云视频云的虚拟演播厅、实时字幕等能力，与身处马来西亚、美国、中国等多地的合作伙伴完成了直播连线及云签约仪式。

而在2022年的北京冬奥会上，“虚拟演播厅”在CGTN在北京冬奥会的记者连线报道中充分应用，全程助力媒体实现全链路的制播上云，为传统新闻节目制作创造了全新场景，打造了奥运赛事报道的沉浸式体验。

东京奥运会虚拟演播厅

能力升级后的一站式虚拟直播，技术更具前瞻性，效果更为精细化，互动更享沉浸感，场景更具丰富性。阿里云基于各类顶级赛事和重大活动的直播业务验证，沉淀了深厚的活动赛事直播重保经验，以灵活易用的虚拟直播间和稳定可靠的深度保障，不断创新行业应用场景，为客户创造新的价值空间。

---

「视频云技术」你最值得关注的音视频技术公众号，每周推送来自阿里云一线的实践技术文章，在这里与音视频领域一流工程师交流切磋。公众号后台回复【技术】可加入阿里云视频云产品技术交流群，和业内大咖一起探讨音视频技术，获取更多行业最新信息。