音视频AI和5G等技术在东京奥运会中的应用

Posted 2021-09-01 LiveVideoStack_

 

 

 

OBS（奥林匹克广播服务公司）一直不断尝试将新的数字科技应用到奥运赛事中。今年的东京奥运会，它将展示大部分科技。OBS承诺为全球观众呈现一场拥有丰富数据的视觉盛宴，其中IP、云、5G和人工智能都打破了广播制作的传统框架，改变了内容交付和观众体验的基础，让观众即使不亲临现场观看比赛也能获得最逼真的体验。

 

OBS计划在两周内制作9500小时的内容（其中3800~4000小时为现场直播）。为了实现最沉浸式的电视赛事观看体验，OBS使用了如下科技：

 

原生超高清HDR画质

 

东京奥运会是史上第一届全部使用原生超高清 HDR（High-Dynamic Range，高动态范围图像）制作的奥运会。“这项技术已然成熟，我们相信它已为东京奥运会做好准备。” 首席技术官Sotiris Salamouris说道。“但也不能掉以轻心，尤其在我们的制作环境中，需要将非常多的移动部分组合在一起。”

 

42个奥运会比赛场馆中， 31台主办国实况转播车和22套便携式卫星传输系统全部配备支持超高清 HDR的设备。

本次东京奥运会中国广播电视总台派出的的大型超高清转播车（By  CGTN）

 

只有7个室外网球场将保留高清制作，同时OBS还将使用几台支持高清 SDR（Standard Dynamic Range，标准动态范围）的专业摄像机。来自这些渠道的视频将被转换为超高清 HDR效果，并整合到主要制作中。

 

这些超高清HDR信号将和高清SDR信号在一路视频流中进行传输。OBS通过在一个HDR/SDR工作流里这样操作，将使转播车能够输出从超高清HDR转换而来的高清SDR画面。为了支持这些信号在contribution network（指用于为媒体广播网络收集内容的系统）中传输，OBS新建了一个完整的IP化基础设施。完整的ST-2110标准平台部署在国际广播电视中心，用于承载、传输、分发超高清内容。

 

OBS还新建了一系列色彩对应表（LUT），最大化提升全部交叉转换（从UHD到HD/从HDR到SDR）之间的画面质量。其中使用的HDR标准是HLG（Hybrid-Log Gamma，混合对数伽码，HDR的一个标准）。OBS表示，通过获取超高清HDR中的内容，或者上变换超高清HDR然后再下变换，最终的高清信号将在所有平台提供高质量视频（质量高于标准高清视频）。

 

 

音效提升

 

超高清同样意味着音效升级——达到标准的5.1.4配置，这可以让观众拥有更真实的音频体验。赛场天花板将悬挂4个可以调节高度的麦克风来获取头顶上方的声音，从而增强5.1环绕声。其中两个麦克风是特地为这次的沉浸式音效体验设计的。OBS在此次奥运会将使用3600个麦克风（28种不同型号）。

 

 

云

 

随着与阿里巴巴合作推出OBS Cloud，OBS将继续推进数字化转型。“这将大大提高持权转播商的运营效率：更高效的产出，更低的成本（地面上的人数将减少）。这是重大创新。”OBS的CEO Yiannis Exarchos说道。

OBS CEO Yiannis Exarchos

 

首席技术官Salamouris提到很多广播专业人士不太愿意将云用于密集的内容制作流程，尤其是体育赛事直播中。“我能理解他们的犹豫不决。但由于我们的工作流对于高带宽、大存储和低延迟的需求，这种转变是必然要发生的。”

 

云工作流将很可能会成为未来赛事的重要组成部分。“全面转向云技术仍处于早期阶段，东京奥运会将迈出第一步。它在接下来的2022北京冬奥会将会得到更广泛的应用。”Exarchos指出。

 

  AI

 

作为一种对未来科技演变的测试方式， AI主导的解决方案将在东京奥运会直播工作流程中出现。其中包括基于运动员识别的AMD（ Automatic Media Description，自动媒体描述）试行方案。基于运动员的号码布，该项目将结合现有数据（如直播数据流和视频日志）和图像识别。除此之外，OBS将使用语音文本转换技术来补充和改进媒体标记。

 

此类应用（比如图像选择、自动搜索和剪辑）将使工作流程更加快速、高效地运转。到2022年的北京冬奥会，OBS的目标是将AI技术应用到尽可能多的体育项目中，并向持权转播商开放服务。

 

OBS 广播工程总监 Guillermo Jiménez 解释说：“我们可以根据用户偏好定制自动提供的内容（来自国际奥委会、运动员或者比赛项目），”这意味着，内容将自动推送给广播公司，而不是他们去搜索内容。

 

“以往的视频标记，OBS会训练来自主办国的学生，让他们来完成线上的实时标记。我们通常会雇大约120人来标记视频源，但即使雇了这么多人，还是不够。”Salamouris 说。“他们只能做这么多，不可能标记一切。AI 技术将标记数量提升到一个新的水平。”

 

“此外，我们只对实时报道进行记录和标记，这仅仅是因为我们目前无法记录和标记奥运会期间制作的其他类型的内容，如ENG （Electronic News Gathering，电子新闻采集系统）中的报道内容。对于所有非直播内容，我们的标记范围非常有限。”

 

东京奥运会以及接下来的北京冬奥会，OBS将验证AI技术概念——它将识别哪些运动员在何时、何地出现。广播公司希望使用以他们本国运动员为主的镜头片段，但是数百小时的视频中搜索特定内容是一项非常艰巨的任务（如果像ENG那样，内容没有被密集地记录下来的话）。

 

如果我们标记所有内容，将需要付出巨大努力和雇佣大量的人工操作员。通过使用训练有素的AI系统，标记可以在短时间内完成，同时降低成本，并提高搜索速度和搜索结果的准确性。

 

5G 测试

 

2018年的平昌冬奥会上，OBS测试了5G网络的性能和质量。随后OBS 再次与英特尔合作，在东京开、闭幕式期间，通过在便携式新闻摄录机上试用5G，测量速度及监测网络性能。OBS 将在 2022 年北京冬奥会的转播中进一步采用 5G 技术，届时所有比赛场馆都有望实现 5G 网络覆盖。

 

5G 最显著的应用是通过链路聚合技术对现有无线解决方案优化。“我们在奥林匹克体育场内特定区域的部分报道将采用5G技术，” Salamouris说。“5G 具有巨大潜力，让我们在无线和移动视频覆盖方面拥有更多选择，而不会进一步增加我们对临时分配频率的需求——这一直是奥运会这样规模赛事的主要挑战之一。”

 

5G还可以与IoT（物联网）设备结合使用。比赛期间，这些设备通过传感器接收到来自运动员的各种信号。

 

解说们对通过5G（与物联网传感器）获取实时表现数据非常感兴趣，这些数据使他们能更好地进行赛事解说。当然，其他无线技术也能获取来自传感器的数据，但5G更高效、更强大，可以在极低的延迟下提供超高的数据收集速度。有了5G，将不再需要设置覆盖网络或临时系统（这些系统总是影响基础设施）。”

 

 

数字覆盖

 

与 2016 年里约奥运会相比，本次奥运会OBS 的内容制作量将增加 30%，其中大部分内容将分发到数字平台。这些数字发行平台可以使用多达9000个剪辑视频以及被称为Content+的短内容，其中包括比赛赛场、奥运村、城市东京的幕后内容，以及使用智能手机拍摄的内容。除此之外，OBS计划制作所有比赛项目的快速回放特辑。

 

多机位回放系统

 

包括体操、田径、极限单车、滑板、运动攀岩和排球在内的场地将会放置60~80台 4K摄像机，每台摄像机都安装在一个机器人平台上，能够向任何方向精确地平移和倾斜，并由一位操作员远程控制摄像机的推拉摇移。每次回放，操作员选择运动画面被定格的点，并且可以围绕运动员从一侧到另一侧控制回放，以及在不损失分辨率的情况下放大画面（多亏了4K 分辨率）。由于回放系统将这些视频流拼接在一起，并且不必创建填充帧，因此不需要渲染。回放系统五秒内就能准备好多机位回放。OBS 表示效果很像电影《黑客帝国》中基努·里维斯躲避子弹。

 

3D运动员追踪（3DAT）

 

本次直播首开先河，将对以下内容提供一种内部视角：赛跑项目的比赛结果、运动员表现以及运动员间的相互对比。奥林匹克体育场将在场地内安装四台云台摄像机，以实时拍摄短跑运动员的表现。3DAT 技术依赖于可以处理大数据的海量算力，这些算力托管在阿里巴巴云基础设施中基于英特尔的数据中心。OBS能够在短时间内交付这些新的分析数据（作为多层视频流的一部分），如visual overlay（指节目制作里的虚拟在线包装层）将向观众显示每个短跑运动员达到最高速度的准确时刻。

 

 

虚拟3D技术

 

运动攀岩在东京奥运会上首次亮相。为了让观众了解该项目给运动员带来的巨大挑战，OBS将以3D形式展现攀岩岩点和岩壁。AR 技术将用于（真实）摄像机镜头和虚拟镜头之间的切换，并生成岩点、岩壁不同角度和路线的虚拟数据。

 

 

360°回放

埼玉超级竞技场

 

英特尔的True View技术将在本届奥运会篮球比赛中大显身手，35台4K摄像机被安装在埼玉超级竞技场的大厅，用于拍摄体三维视频（volumetric video）。这些视频经过处理后，可以从球场上的任何角度呈现 360 °回放、全景和定格画面。OBS将为每场篮球比赛制作多达10个视频。

 

VR

 

OBS 计划提供 110 小时的沉浸式 180° 立体和 360° 全景直播，涵盖开幕式和闭幕式，以及沙滩排球和体操等特定比赛项目（因为在这些项目中，摄像机距离运动员最近）。

 

OBS将在固定位置放置6台180°立体摄像机，以及一个 360° 摄像机来拍摄奥运会开、闭幕式和比赛。大量比赛中的精彩瞬间和几乎每个项目的多视角片段都将补充到直播中（其中一些从未被VR获取到），其中包括运动员穿戴的摄像头把训练期间的表现记录为VOD点播视频，并让 VR 用户体验成为一名奥运会运动员的感觉。此类视频将以 180° 和 360° 格式提供给广播公司用于 VR 服务。

 

8K

 

虽然8K并不是主办国广播机构的官方部署内容，但自2012伦敦奥运会以来，它已成为奥运会应用未来科技的主要方向。在东京国际广播中心，NHK 建造了一个 8K HDR 22.2 多声道剧院，这让其他广播公司惊叹不已。除了东京奥运会的开幕式和闭幕式，OBS和NHK还将提供 8K 超高清直播，包括田径、羽毛球、足球、柔道、游泳、乒乓球和排球的选定赛事。ENG 工作人员还将用8K制作其他体育项目，包括艺术体操、艺术游泳、3x3篮球、滑板和运动攀岩。

 

 

东京奥运会正在如火如荼地进行中，这几天前方频频传来捷报，中国运动员在多个体育项目中斩获金牌。LiveVideoStack祝福中国健儿在接下来的比赛中再接再厉，取得更好的成绩！为你们骄傲！加油！

东京奥运会冠军孙一文、杨倩和侯志慧（By Global Times）

 

翻译 / Alex 

技术Review / 王毅敏

原文链接：

https://www.ibc.org/trends/the-greatest-show-on-earth-how-obs-plans-to-immerse-viewers-in-the-tokyo-olympics/7720.article

特别说明：本文成稿与东京奥运会之前，所以文中使用将来时态。原作者Adrian Pennington已授权本文的翻译与发布，特此感谢。