将渲染计算搬到云端,开启低成本强交互沉浸式体验

Posted 阿里云视频云

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了将渲染计算搬到云端,开启低成本强交互沉浸式体验相关的知识,希望对你有一定的参考价值。

云渲染可以解放本地计算需求,这意味着生产力的大幅提升。

云渲染的基本原理是将3D渲染应用部署到云端,接收本地的控制指令发送到云端,云端启动游戏引擎并进行画面渲染,编码成视频流传输到本地。

不难看出,云渲染技术的核心在于将计算搬到云端,对渲染出的画面进行流化的传输。而过程中渲染画面的抓取、编码、传输、显示等流程被称为串流。

串流是云渲染业务用户体验的核心,串流延时、画质、卡顿等都会直接影响到用户体验。

云渲染串流技术框架主要分为两部分:云端串流引擎串流客户端

云端串流引擎:在云端GPU上,响应客户端发送过来的控制指令,启动渲染应用并进行串流视频的处理与发送。引擎往下适配各种OS和硬件,往上对接调度和业务系统。

串流客户端:串流客户端类似一个播放器,进行串流视频的接收和编码,同时发送控制指令来操作云端渲染引擎。云端串流引擎和串流客户端通常是一对一的。

基于云渲染串流技术能够大幅度弱化本地GPU渲染应用压力,将复杂资源处理过程迁移至云端进行,本地计算需求退化为一个播放器。

01 云渲染串流的三大技术挑战

云渲染的核心技术指标与挑战主要有以下三方面:延时画质与流畅度成本(包括GPU计算成本和传输带宽成本)。

首先,延时是云渲染串流技术体验的基础,超低延时的需求则带来了巨大的技术挑战。云渲染串流过程中的延时主要分为两方面:

端到端的延时:音视频通话250ms以下延时已经难度很大,对于云渲染串流技术而言,想要将端到端延时控制在100ms内更是难上加难。

Motion to Photo的延时:比如在VR云游戏场景下,使用头盔进行头部转动动作时,画面上的延时称作Motion to Photo的延时,为保障用户体验需要将该延时控制在20ms以内。

对于画质和流畅度来说,云渲染需要输出视频流,画质与流畅度作为用户直观的体验,其技术带来的挑战主要在以下三方面:

1.面临复杂网络环境与不稳定的带宽,能否保障画面清晰度与流畅度;

2.画质、码率、计算成本三角关系的平衡;

3.技术先进性和兼容性的平衡,如:更先进的编码技术H265虽然能够提升画质,但其解码性能和兼容性如何保障?

在成本方面,目前来看,云游戏、云渲染正在蓬勃发展,但离实现商业化盈利仍然路途遥远。首先,云渲染GPU资源存在一对一独占资源的特点,单用户消耗的计算资源较高。其次,云游戏存在明显的业务高峰,通常集中在晚间,其他闲时资源如何利用成为了一大问题。最后,如前文提到,云渲染对画质和帧率有较高要求,如何在保障用户体验的同时降低每个渲染进程的资源消耗。

02 多维度优化云渲染策略

延时优化

下图对全链路延时进行拆解,其中如指令传输、音视频流控&QoS等环节的延时波动较小,优化工作主要针对传输、编解码的延时进行。

传输延时优化

由于云渲染服务与理距离来减少延时,基于高覆盖的ENS边缘节点集群进行就近处理与传输,通过调度将任务下发至离用户最近的GPU节点进行处理与串流工作。

其次可以通过传输协议上的优化来减少延时。取代传统的RTMP、HLS协议,转向采用RTC协议进行传输,同时针对云渲染的场景特点来制定QoS策略,如带宽估计、拥塞控制等来实现优化效果。

编/解码延时优化

影响编码延时的主要因素是帧级的线程缓存、lookahead缓存、B帧。优化编解码延时的核心思路是“进一帧,编一帧,出一帧”,不进行任何缓存,用slice thread 代替 frame threads,关闭lookahead与关闭B帧(在HEVC标准下,可采用GPB编码方式,将普通B帧用低延时B帧进行替代,既能提升画质又能降低延时)。

画质与流畅度优化

画质与流畅度呈现的关系如同跷跷板,为了保障用户体验往往需要在两者之间进行平衡。

在云渲染场景下,编码需要与网络进行联动,通过实现网络自适应传输与编码来优化流畅度:

带宽估计:根据网络情况动态调整编码器码率等参数;

拥塞控制:采用BBR或是GCC进行拥塞控制,如主动丢帧。BBR策略收敛更快,通常更适合云游戏场景;

丢包重传:如前文所述云渲染采取就近传输方式,可以根据这个特点实现快速重传策略;

抗I帧风暴:由于I帧占用带宽较大,在I帧过多的情况下对于清晰度与流畅度造成较大影响;

控制I帧数量和大小

视频帧的类型分为I帧、P帧、B帧,其中I帧大小远大于P帧与B帧,I帧密集容易引起卡顿,Intra refresh策略能够有效解决此类问题。

通过将I帧拆分为多个I slice并按顺序平铺到连续的帧中,有效控制I帧的梳理。出现丢帧后可依次排序组合恢复出完整的一帧。

VBR+VBV码率控制策略

CBR码控策略可以使得码率平稳,保障流畅度。但考虑到云游戏场景画面运动剧烈,因此固定码率会造成部分帧画质较差的问题。需要在画质与流畅度间取得平衡,推荐采用VBR算法+VBV参数的方式控制码率波动,使得码率能够在一定范围内实现“平稳”地波动。

云端协同的CodeC选择

在当前环境下,手机终端大多已经支持H265解码,云端GPU也大多支持H265编码。如果云和端都支持H265解码,通过云与端的协商,在云端优先进行H265编码,能够在同等清晰度下使码率降低20%~40%。

CPU+GPU混合的窄带高清编码

单独使用CPU编码成本高、延迟大;单独使用GPU编码灵活性差、画质差。可融合CPU与GPU编码能力,采用GPU为主、CPU为辅的混合编码策略

阿里云窄带高清编码技术,通过视频增强处理和编码的联合优化,能够在码率相同时显著提升画质。或者使码率在降低30%~60%的情况下,视频画质仍然持平甚至有所提升。

但云渲染场景与普通的视频特点差别较大,且通常需要采用硬件编码。需要思考如何在低延时、场景快速切换、运动剧烈的情况下优化GPU编码的画质与流畅度。后文将结合三星堆云渲染场景,介绍阿里云在云游戏场景的窄带高清效果。

成本优化

解决基础体验问题后,成本问题成为云渲染、云游戏商业化面临的最为突出的挑战。

云渲染成本主要可以分为三条线:单任务实际GPU资源消耗, 单机资源利用率, 总资源池利用率。成本优化策略需要围绕如图所示的三条线展开。而在实际场景中云渲染成本优化还存在以下四方面的问题:

1.单进程资源消耗大

2.CPU<-> GPU 内存拷贝效率低

3.单机资源利用率低

4.业务并发时间集中

从以上四个角度出发,接下来将详细介绍如何实现云渲染成本优化

单任务资源消耗优化

GPU硬编码:GPU渲染单元与编解码单元独立,在渲染的同时可以应用GPU进行编码工作,有效降低CPU消耗;

CPU<-> GPU memory zero copy:由于CPU与GPU的排列方式,处理图像帧的格式、内存的layout存在差异,因此需要构建全GPU处理的pipeline,减少CPU在过程中的参与度,可显著提升性能,降低延时;

CUDA加速:图像缩放/颜色空间转换等可用CUDA加速;

单机资源利用率-虚拟化与多开

当降低了单进程资源消耗后,通过采用虚拟化与多开技术能够有效提高单机资源利用率,一张卡上同时运行多个渲染进程。实际上,GPU的虚拟化技术为云游戏、云渲染的大规模商业化落地奠定了基础。

集群资源利用率-业务混跑

实际情况下,仅通过上诉两种方法依然难以解决成本问题。实现业务混跑,提高集群资源利用率,是云游戏、云渲染技术真正实现普惠的关键。其核心在于利用不同的视频处理高峰时期,对GPU集群进行分时复用。如在白天时段利用GPU集群完成离线AI处理工作,晚上6~8时进行直播转码处理工作,在9~11时进行云渲染、云游戏应用处理工作。基于业务的多样性,充分利用总GPU资源池,有效降低云渲染成本。所以视频云业务的多样性也是降低成本的重要优势。

03 云渲染实践案例一键开启三星堆奇幻之旅

CCTV《三星堆奇幻之旅》 采用了阿里云的大规模即时云渲染技术,将大型沉浸式体验需要的图形算力、存储需求放在云端,观众看到和交互的画面都是由云端即时渲染计算出来,从而让观众摆脱本地硬件限制,仅通过一个H5页面,便可低成本地享受高质量的沉浸式体验。作为高热度、高并发的云渲染应用,该实践案例支持5K的并发,预备万路弹性,最终登上微博热搜TOP 3,收获了3300万播放量。

这样热度和规模的活动,要保证每个用户的高体验,对技术上的要求和挑战都是巨大的,阿里云构建了多个维度的技术体系来提升用户体验。

阿里云视频云的GRTN(Global Realtime Transport Network)低延时网实现边缘传输,有效降低传输方面的延时。GRTN是阿里云各个音视频通信业务方合力打造的传输网,支持html5 的信令接入。GRTN采用层级网和对等网相结合的混合网络架构,媒体传输链路更短,全链路采用延时更低的基于UDP的RTC协议,并利用深度定制的动态路由、传输控制、边缘计算、双向实时信令网等机制。视频云云考古机制是基于GRTN设计,可接入视频云直播、点播和RTC等业务,便于全球实时传输,实现业务扩展。

RMS云渲染引擎也为三星堆项目体验发挥了非常重要的作用。RMS负责渲染视频的采集、处理、编码和传输。RMS的处理性能和延时、编码画质、QOS的传输体验都直接影响三星堆项目的用户体验。

游戏/渲染引擎输出的图像帧一般都是显存中,如果采用CPU软编或者ASIC异构编码的方式,会存在拷贝延迟。因此RMS采用GPU硬件处理为主、CPU处理为辅的方式,达到视频帧zero-copy的极致延迟体验,在满足画质、流畅度需求的前提下,充分降低性能消耗和计算成本。

同时,RMS在QOS策略上也做了大量的优化。本次云考古面向的是全国各地的观众,为应对复杂多变的网络环境,我们在RTC网络的传输Qos保障的基础上,对Jitter Buffer/NetEQ/带宽估计/可靠传输(丢包重传、乱序重组),以及Qos模块和编码模块的配合上做了专门的调整,包括智能策略组合、智能码控、丢帧逻辑和FIR处理等方面。同时,在QOS的码率分配上,我们也做了大量优化,可以在保障抗弱网能力的同时,将有限的带宽更多地分配到编码器的码率上,提升视频清晰度。

在视频编码算法方面,我们利用云渲染场景深度优化的窄带高清技术来提升清晰度。通过云端GPU与客户端CPU的联动,进行内容自适应的纹理和色彩增强处理,有效提升了视频画质,且算法的性能和成本都大幅降低,对全链路延时和客户端功耗的增加都达到可以忽略的程度。而图像处理算法与编码算法的有机结合优化,可在保证画质的同时,显著降低了视频码率大小和码率波动。

最终的效果呈现如上图所示,左侧仅仅采用GPU进行编码,色彩相对暗淡、文字相对模糊,画面饱和度、对比度相对较差;右侧通过我们的GPU+CPU联合优化的窄带高清处理,在码率降低35%的情况下,VMAF提高10%,主观的画面纹理细节和色彩效果也有提升。

面向未来,云渲染串流技术发展方向已经明晰,一方面通过与AR、VR、XR进行结合,打造沉浸式的云渲染体验。而其中关键的20ms以下的Motion to Photo延时,则是突出的技术挑战,可以考虑采用异步渲染的方式进行延时优化。

另一方面通过与虚拟社交、音视频通话与直播进行结合,向交互式、综合式的应用方向发展。云渲染串流与AI算法、直播技术、RTC音视频通话技术的结合,是未来技术的演进方向。我们的RMS云渲染引擎支持多种AI特效、直播旁路直播与RTC云合流,为未来云渲染的技术综合性要求打下了基础。

以上是关于将渲染计算搬到云端,开启低成本强交互沉浸式体验的主要内容,如果未能解决你的问题,请参考以下文章

低成本强交互沉浸式的云游戏,究竟如何实现?

低成本强交互沉浸式的云游戏,究竟如何实现?

3D全景沉浸式体验场景未来城质量保障方案总结

阿里云联合平行云推出云XR平台,支持沉浸式体验应用快速落地

阿里云联合平行云推出云XR平台,支持沉浸式体验应用快速落地 | 电子书免费下载

阿里云联合平行云推出云XR平台,支持沉浸式体验应用快速落地 | 电子书免费下载