当渲染遇上边缘计算，打造视频交互新模式

Posted 2022-03-15 边缘计算社区

导读

在火山引擎视频云科技原力峰会上，火山引擎边缘计算产品负责人沈建发老师发表了以《当渲染遇上边缘计算，打造视频交互新模式》主题演讲，介绍了他对视频时代算力应用的解读，并分享了边缘计算如何保障视频业务极致用户体验的技术方案。

视频业务的高速发展驱动着视频应用走向更丰富的直播互动、更高清的视频内容和更沉浸式的玩法体验，而这背后离不开边缘计算全域分布式异构算力和高效渲染服务的支持。

让标准的计算和连接无处不在

火山引擎边缘计算产品负责人沈建发

▼ 以下为建发的演讲内容整理 ▼

01

边缘计算助力极致体验的视频云

视频云整体市场仍处于高速发展的阶段，IDC 数据显示，2020下半年中国视频云市场规模达到38.1亿美元，2021上半年增长至43.7亿美元，而这背后离不开边缘计算全域分布式异构算力和智能调度的支持。

边缘计算作为视频云的整体算力底座，为视频云业务提供全局一致性的用户体验。通过优质的边缘节点、全域分布式的网络带宽以及多种异构算力资源，提供更低时延的网络接入能力、更优化的网络带宽成本、丰富的异构算力资源和智能调度，满足视频云业务中直播特效、虚拟主播、数字人、云游戏等场景对渲染算力的需求，支撑更多的创新玩法，带来更极致的互动体验。

沉浸式互动体验展示

02

当渲染遇上边缘计算

讲到渲染，常见的渲染方式主要分为离线渲染和实时渲染两种。

• 离线渲染，更多用于影视特效、3D效果图、CG动画、家装设计等场景，电影院线的大片特效、动漫、动画电影等，包括此次冬奥会展示的一些视觉特效，都是离线渲染应用的体现。

• 实时渲染，主要应用于云游戏、AR/VR、视频直播特效、云创作等对低时延和互动性要求较高的场景。

进一步来看，实时渲染和离线渲染其实都属于图形渲染。我们可以看到目前图形渲染主流的实现技术有如下三种：光栅化、光线投射、光线追踪。这三种方式都需要大量的算力去计算光线和物体相交的仿真效果。

传统方式一般都是由中心云提供算力实现，随着业务的发展，比如视频直播的漫画风特效和云游戏场景等，除了需要高质量的渲染效果，还需要保证用户的实时交互，因此同时具有高性能、低时延的算力诉求。边缘计算可以在更靠近用户的位置，为业务提供通用、高性能、低时延的异构算力资源，加速业务渲染效率。

新一代边缘计算云平台

讲到边缘计算，跟大家分享一下我们对边缘计算的定义，我们将用户到云中心之间所有的算力层都定义为边缘计算的范畴，包括：现场边缘、近场边缘、云边缘三层，覆盖5-40ms时延范围，提供从用户现场，到本地城市节点以及区域中心汇聚节点等多种异构算力资源，根据地理位置的分布，提供单线、多线等多种网络接入能力，确保用户就近接入，满足业务超低时延的算力调度和网络能力的需求。

基于以上，我们构建了新一代边缘计算云平台。边缘计算云平台整体采用一横 N 纵的结构，一横是指基于边缘计算基础设施打造的云原生边缘平台，N 纵指具象化的服务能力，如边缘虚机、边缘容器、边缘网络、边缘函数和边缘渲染等。

边缘渲染作为边缘计算云平台的计算资源服务，结合云边管理通道和全域智能调度，为视频直播、云游戏、AR/VR、影视特效等提供主要的渲染算力调度入口。另外，网络和安全组件为边缘渲染服务提供高效的网络接入和安全防护保障，灵活的弹性算力资源可按需为边缘渲染提供算力的扩缩容、全域算力的按需调度，并能实现多任务协同处理，最终结合云原生特性帮助业务实现分布式高效管理。

基于边缘计算构建更加高效的边缘渲染服务

边缘渲染服务是基于边缘基础底座资源，在边缘云原生操作系统之上构建的 PaaS 平台，通过智能调度、任务编排，自定义渲染引擎，配合优化的网络传输和实时音视频通讯协议，为直播特效、数字人、云游戏、VR、影视动画制作等提供实时渲染和离线渲染能力。

为什么基于边缘计算来构建渲染服务？除了实时渲染需要的低时延交互外，在离线渲染场景我们也做了一些实验，比如一个 1G 项目工程文件，生成 100 帧，每帧 300MB 图片的场景，在中心完成任务处理的时间需要760秒，边缘只需要79秒，边缘的整体效率是中心的9.62倍，这也是在边缘构建渲染服务的原因之一。边缘计算能够为实时渲染与离线渲染提供全域覆盖的算力调度，同时保证低时延的网络响应需求，真正帮助业务提升用户的实时交互体验。

下面将详细介绍边缘渲染服务在不同场景的实践及相关典型案例。

03

基于边缘计算的渲染场景实践

实时渲染

实时渲染广泛应用于虚拟穿戴、数字人、面部特效等业务领域，业务模型是基于物理世界人们的动作、表情、姿态叠加或转化成虚拟形象，通过视频终端采集和动作捕捉设备等，在保证交互实时性的同时，采用 RTC 传输至最近的边缘计算节点。结合边缘算力实时渲染，将渲染后的视频图像分发到用户终端上显示。

在实时渲染场景中，边缘计算提供了高性能、低时延、标准化的分布式计算服务，基于最靠近用户的地理位置实现实时渲染引擎的高效反馈，保障用户高质量的实时观看与交互体验。

云游戏

云游戏场景中，用户对时延更加敏感。区别于端游、页游、手游和主机游戏，云游戏的游戏资源、运行、渲染都需要在云端完成，相当于用户在云端玩游戏，这种场景下需要边缘计算提供高性能的图像渲染算力，从而保证游戏体验的逼真度。

依托边缘计算全域覆盖的边缘异构算力，一方面可以基于用户地理位置亲和性，就近接入最近的云游戏资源池，实现游戏指令毫秒级交互；另一方面，结合边缘计算的 CPU、GPU、ARM 等异构算力，云游戏可以解锁原来移动终端对计算和存储能力的限制，无需下载、安装，随时随地接入，开机即可畅游大型游戏，保证玩家获得无设备限制、稳定、高品质、超低时延的游戏体验。

边缘渲染农场

边缘渲染农场常用于如影视特效、三维动画、设计效果图等场景，为用户提供一站式渲染服务。

• 首先，边缘渲染客户端作为用户自助渲染的第一入口，为用户提供高速的传输效率和保障传输中数据加密服务。

• 其次，边缘渲染服务主要在近场边缘和云边缘为用户提供异构算力的分布式调度和任务编排，支持主流三维设计软件及插件，比如：Maya、Blender、Arnold 等，并支持跨平台任务调度与协助。边缘渲染服务还可以结合边缘对象存储和 CDN 等加速能力，以及设计师所在地理位置就近提供服务，缩短工程数据传输距离，有效降低网络时延。

• 同时，通过全域节点的边缘算力资源和智能调度，能满足关键渲染任务的灵活切片，实现多节点并行渲染，提升渲染效率，加速内容创作渲染周期和快速工程作业发布。

边缘渲染优势

通过以上实践，我们提炼出边缘渲染服务的三大优势：

• 第一，就近接入：基于覆盖全国各省市的边缘计算节点，支持单线、多线等多种网络形态，为渲染业务提供充足的本地算力资源，支持就近接入。

• 第二，普适、弹性：提供 X86/ARM 架构、CPU/GPU 实例等多样化的算力规格和自助式云服务，满足用户按需、弹性、灵活的普适需求。

• 第三，实时交互：采用 SPDK 技术优化磁盘 IO，并提供 100Ge/25Ge 智能网卡，结合渲染引擎，实现低时延的交互体验。

04

边缘渲染典型案例

家装设计与 VR 展示

家装设计和 VR 看房是渲染常见的场景之一，边缘渲染服务作为边缘算力资源的入口，通过全域覆盖的边缘异构算力，结合智能调度，高效实现渲染工程快速呈现，降低时延，在本地即可完成房屋设计和 VR 展示，实现从图片采集-传输-渲染-缝合-呈现的业务闭环。

自定义图片渲染

自定义图片渲染是基于边缘 GPU 算力实现的数字资产高效离线渲染，边缘渲染服务支持自定义策略，包括自定义源文件输入、自助选择渲染引擎、自定义逻辑输出、功能需求自定义拓展，通过全域调度的边缘渲染算力，支持业务的就近渲染处理，多样化的异构算力， 充分满足不同业务的个性化需求。

UE 应用程序托管

UE 应用程序托管是实时渲染的场景之一，常用于云游戏和虚拟展厅等场景，用户可以将 UE 应用程序托管到边缘计算节点，由边缘计算节点提供算力支持，解锁移动终端对算力和存储的依赖，实现快速、低时延的应用交互，同时保证高质量的图像传输。另外，结合 RTC 传输协议能够保障整体应用交互时延控制在 100-150ms，实现最佳画质的视觉体验。

视频直播

最后，给大家展示边缘渲染在视频直播领域的应用案例。

手机端渲染和边缘云渲染对比

首先，视频直播的实时特效渲染，此处对比了手机端渲染和边缘云渲染，从视频中可以看到，边缘云渲染相较于手机端渲染，在细节还原度和色阶平滑度都有更显著的效果。

主播拍摄视角与观众播放视角时延对比

其次，从观看体验来说，边缘云渲染端到端的时延约100-150ms，几乎无感知，不影响直播交互体验，同时可以实现移动终端的算力上移到边缘云，提供更多的场景和更优质的体验。

第三，在虚拟主播和数字人场景中，通过摄像头捕捉用户表情及动作细节，结合海量边缘渲染算力以及用户所处地理位置的智能调度，实现毫秒级实时渲染，创造极致的实时交互体验。

05

未来展望

目前火山引擎边缘计算已经在抖音、今日头条、飞书、西瓜视频、住小帮等多款互联网应用落地，同时我们也在直播特效、虚拟主播、云游戏等场景有非常成熟的案例。未来，我们希望能够携手各界合作伙伴，在工业视觉、数字孪生、三维道路模拟、动画渲染等领域探索更多可能性，诚邀大家一起，共创边缘新生态。

边缘计算社区：促进边缘计算领域知识传播，中立，客观，如果您关注边缘计算、5G、物联网、云原生等领域请关注我们。全球边缘计算大会·北京站！我们4月15日，北京见！