科技云报道：实现元宇宙，英伟达从打造基础建设平台开始

Posted 2022-08-08 科技云报道

科技云报道原创。

很多人将元宇宙想象为电影《头号玩家》的绿洲，但现实是人们才刚刚迈出构建元宇宙的第一步，从打造虚拟场景开始。

在GTC 2021大会上，一段NVIDIA黄仁勋“以假乱真”的视频，将NVIDIA Omniverse平台展现在人们的视野。NVIDIA基于Omniverse提出的元宇宙概念拉近了虚幻与现实的距离，将人们对元宇宙的想象照进了现实。

事实上，为了让元宇宙和真实世界一样逼真，虚拟场景来源于真实世界的三维重建，需要进行大量的3D设计制作。这不仅对创意设计、影视制作等相关行业提出了降本增效的要求，也对3D制作背后的支撑技术提出了更高的要求。例如；元宇宙虚拟场景的大规模渲染，所需算力呈现指数级提升；元宇宙“沉浸感”、“低延时”、“随地”的特性，对实时计算要求苛刻。

那么，实现元宇宙究竟需要怎样的算力？人们如何更好地协作完成元宇宙场景的构建？元宇宙为IT基础设施技术带来了哪些新的变化？

带着这些核心议题，在7月14日由科技云报道主办的《奔赴元宇宙》直播访谈节目中，NVIDIA中国区高级技术市场经理施澄秋、NVIDIA网络技术专家崔岩，与科技云报道执行主编张颖展开了对话。

以下是访谈精编摘录：

1、NVIDIA在元宇宙领域里是怎样的定位？

施澄秋：NVIDIA是GPU的发明者，也是全球视觉运算行业的领袖，当然现在已经成为了引领人工智能运算的先锋性企业。

在国内，元宇宙的概念从去年开始逐渐火热起来，其实是将自然的现实生活中的许多事物和场景，以1:1的物理方式准确复制到虚拟世界中去，而这个虚拟世界正是由NVIDIA的GPU、DPU等各种不同的软硬件解决方案和产品组成的一个综合性平台所打造的。我们把这个平台称之为Omniverse，这其实是英伟达想在未来实现元宇宙愿景的一个基础建设平台。

请介绍一下如何用Omniverse平台来实现元宇宙的虚拟世界？
施澄秋：在传统的虚拟场景制作工作流中，一个场景可能就包含各式各样的元素，需要各类设计人员来实现，比如做材质的、做架构的、做建模的、做人物的等等。

由于每个设计人员都有不同的软件入口，当设计师A把自己的部分做完后，导出文件给设计师B，B在A的基础上再去做他的部分，之后再把自己的部分从软件里导出给到下一个设计师，这样每一次数据都面临着导入导出，大家长时间等待的过程，最终只有等所有工序都完成后才能看到效果。

Omniverse平台就是要解决这一个问题，它是一个一站式的服务平台。借助Omniverse，很多人可以同时从不同的地点访问同一个数据资产集，而这些数据资产集在不同的ISV软件中是实时调用的。不同的设计者在这个平台上可以同时使用不同的软件，实时看到项目的更新和变化。

对于传统的设计人员来说，Omniverse平台的优势在于可以实时远程分工协作，快速到达数据资产，在不同的ISV专业软件和工具之间迅速沟通、实时查看管理和审核的过程。

传统的设计行业中一直存在无法实时协作的痛点吗？
施澄秋：在过去，可以说是没有协作，因为不同软件之间的数据存储格式基本不相通，只能做完一部分，先导出为其他软件能用的文件格式，然后再导入另一个软件去做下一部分，所以很难去做实时的协同工作，这个行业痛点一直都在。

为什么NVIDIA能解决这个行业痼疾？
施澄秋：每家公司都希望所有人能使用自己的软件，在这样的基础上，过去很多软件的数字资产是封闭的。当大家发现这个世界需要更多的分享协同时，观念转变了，事情就开始往前推动了。

尤其是疫情来临后，整个行业都处于一个大变革的时代，大家都面临随时远程办公的状态。所以，这种远程的、分散式的、分工协同的在线工作模式，就被提到日程上来了。英伟达所做的事情，正好处于大家认知有所改变，也有市场需求的时刻。

提到远程办公的趋势，如果要在云上支持大规模的渲染，对于算力的要求会特别高，Omniverse可以很好地解决这个问题吗？
施澄秋：算力问题一直存在，过去大部分的渲染是离线渲染，中间可能需要几十个到上百个小时，甚至很多天，自然谈不上实时渲染。

但好在整个互联网的基础设施建设推动了整个行业的发展。算力、人工智能、芯片等技术的发展，使得像素的渲染能力、图形图像的处理能力、网络数据的传输能力都有了质的提升，综合起来达到了目前的高度，让在线实时的分工协作变成了现实。

崔岩：一个支持实时在线分工协作的平台，背后是有很强的算力或者基础设施底层去支撑的。NVIDIA不光是在GPU领域，在加速计算、网络技术、服务器体系架构等领域都有非常好的技术支撑。

Omniverse平台可以支持多少款不同的软件？
施澄秋：Omniverse平台在过去三年里蓬勃增长，目前已支持上百款软件，里面有个核心的功能叫做connect，可以把各式各样的软件连接起来。

Omniverse的核心叫做USD（Universal Scene Description），即通用的全局式场景的描述语言，它是NVIDIA和Pix公司合作的。

举一个通俗的例子，我们上网的网页是用html语言来写的，声音、图像、文件等所有的东西都可以用html来表达。所以，USD对于设计和创意工作人员而言，就是Web1.0时代的html，我们用USD的方式去解决各个软件之间的互联互通。

当我们看到用户对一些专业软件或者工具有需求，而这个软件又可以引入对USD的支持，我们就会去促成这个软件对USD的支持，从而完成Omniverse对这款软件的支持。

在过去的三年里，我们一直在推动这件事件的发展。就像我一开场向大家介绍NVIDIA是GPU的发明者，同样NVIDIA也是这个行业里的领导者，市场上几乎所有的ISV软件都以支持NVIDIA的GPU和优化NVIDIA GPU的使用为首要任务，所以NVIDIA有非常强的凝聚力。我相信在可预见的将来，Omniverse支持软件的数量还会不断发展。

Omniverse除了支持多款软件，自己也开发了软件，比如Omniverse上有一款非常实用的应用Audio2Face，只要输入一段音频就可以实时生成面部动画。为什么NVIDIA决定自己开发软件？
施澄秋：行业里一直存在一个问题，那就是人物的发音跟嘴型对不上。长时间以来，游戏角色的嘴就是胡乱一动，想要和角色说话对上，需要逐帧去刻画，太难了。如果能够用AI的方式来驱动人物的面孔，甚至能理解语义那该多好。

我们觉得应该有这样的功能，所以去开发了Audio2Face这样的应用。所谓Audio2Face，就是给到电脑一段文本或者一段声音，首先它能够理解这个文本的意思，理解人物的情绪是什么，然后将这些理解投射到人物的面部上来。当这些声情并茂的表情被实时渲染出来之后，再导出到一些ISV软件中，立刻就能使用。

当然，术业有专攻，我们做软件肯定和专门做视觉特效的软件公司差了十万八千里。所以，Audio2Face只是一个公版的技术演示，用来演示NVIDIA的GPU、人工智能可以把渲染做成什么样，把光线追踪做成什么样，告诉大家Omniverse平台可以实现什么。

Audio2Face背后的技术是什么？
施澄秋：从技术上看，人物的表情其实是由很多个点组成的矩阵网络形成的，由GPU渲染带动每一个五官运动的方向，最后就变成了一个个活生生的面孔。

在这个过程中，首先要涉及到自然语言处理（NLP）的问题。NVIDIA对于会话式的AI有非常多的框架，去深度学习和理解人类的语言，同时把这个语言理解能力再利用到GPU渲染上。

当我们把AI和GPU渲染这两个能力融合起来，再加上我们RTX技术里的实时光线追踪能力，就使得人物的表情更加活灵活现，人物的渲染更加逼真。

Omniverse像是为3D建模而生的，为什么平台的定位是致力于打造“工程师的元宇宙”？
施澄秋：元宇宙其实是包罗万象的，不仅仅只有美术创意人员或者设计人员，才是元宇宙的用户。有一些用户并没有美术设计方面的需求，但他可能要模拟一个物件，比如工业自动化做数字孪生，或者游戏玩家想在元宇宙里去创建一个自己的角色。

对于NVIDIA而言，只要你参与到某一个工程中，就是一个工程师。无论是设计创意人员，还是做工业制造业数字孪生的，还是做科学研究的，其实都是工程人员，都可以参与到元宇宙这个庞大的工程里面去。

Omniverse可以在哪些元宇宙的应用场景里发挥作用？
施澄秋：我可以举几个例子。

第一个例子，是NVIDIA和爱立信的合作。

对于电信运营商而言，选择在什么地方部署5G基站，决定了基站的建设和运营成本，比如这个地方的用户多不多、信号覆盖好不好等等。所以我们利用Omniverse平台去模拟部署了一个虚拟的5G基站，去追踪5G信号的电波传导方向，帮助爱立信在更加合适的地点、以更加优秀的密度去部署5G基站，达到成本和效益的最佳化。

第二个例子，是NVIDIA和西门子的合作。

我们用Omniverse里的一个机器学习框架mod与西门子的Siemens Xcelerator模拟平台合作，进行数据实时连接，并结合AI边缘计算、云计算等能力，用数字孪生的方式去做工业模拟。比如，对热锅炉里的蒸汽、压力、温度、酸碱度等指标，进行动态的实时的1:1模拟呈现，这样就可以帮助工程人员更好地监控和管理风险。

原本在现实的工厂中做任何一个改变，都要做大量的评估，但是通过Omniverse数字孪生在虚拟出来的元宇宙世界中去做验证，就可以对工业生产的整个流程带来改进。

未来我们也期望有更多的元宇宙场景能够放到Omniverse平台中去应用，比如自动驾驶、无人机的模拟训练等等。

Omniverse实时协作如此多的软件，背后的算力、网络等基础设施支撑是怎样的？
崔岩：实时协作对工作负载的处理是非常苛刻的，需要精准计时去同步，所以需要大规模的基础设施来提供算力支撑。NVIDIA会针对不同客户的应用场景，在领先的GPU技术上去提供加速计算的能力。

比如，在今年春季GTC开发者大会上，NVIDIA就发布了一个名叫OVX的加速计算架构，主要面向大规模数字孪生模拟，并在Omniverse平台中运行。为此，NVIDIA提供了一套专用的硬件架构。

具体而言，OVX服务器由8个NVIDIA A40 GPU、3个NVIDIA ConnectX-6 Dx 200Gbps网卡、1TB系统内存和16TB NVMe存储组成。OVX计算系统可从由8台OVX服务器组成的单舱扩展到由32台OVX服务器组成的OVX SuperPOD，并通过NVIDIA Spectrum-3交换结构或多个OVX SuperPOD，来更好地支撑上层的Omniverse平台和应用，加速大规模数字孪生模拟。

想要真正实现元宇宙的体验感，算力需要达到什么样的程度？预计多久可以实现？
施澄秋：我个人觉得无法预测。比如20年前，一个VCD的分辨率，大家都觉得挺棒，但后面陆续有了蓝光、4K、8K…能不能做到无限大的分辨率，其实是没有局限性的。

那么在元宇宙场景中，如何能够达到一比一的仿真，就和在现实生活中一样呢？这需要的算力根本没有办法用一个数字来形容，我只能说我们一直在努力把它做得更好、更真，整个行业大家共同推动这个球往前滚。

崔岩：元宇宙大家都会有很美好的预期，但是现在确实很难讲算力可以达到什么样的程度。我们只能从现有的GPU、CPU、DPU、加速计算、网络等软硬件上持续的努力，争取保持领先，用相对短的时间，给大家呈现一个更好的元宇宙体验。

提升算力有哪些途径和方向可以去探索？
崔岩：我认为可以从软件和硬件两个层面来看。

在软件层面，从NVIDIA整体发展方向来说，现在越来越强调软件、平台和综合性能，或者说效果，用显性的方式让客户看到技术带来的实实在在的效果。当然在软件的支撑上要花很多功夫，去做算力平台的优化，以及基础设施应用的开发。比如DPU不会是简简单单做一颗芯片，而是会有专门的DOCA软件开发平台，让客户可以在上面做定制开发，Spectrum交换机也会开放SDK给客户。

在硬件层面，NVIDIA在GPU上会持续的发力，性能的提升速度已远超CPU的摩尔定律。除了前面提到的加速计算系统、相应的硬件投入，我们也会在计算节点上进行高速互联，为客户提供高性价比、低延时、高安全性的计算平台。

提到网络互联，其实我们不把网络只当作一种简单的节点间连接设备或架构，更多的把网络也当成是一种算力。

比如DPU，相当于把网络的一些功能，体现在这个服务器节点之内，去发挥它的计算能力，它可以直接进行加密解密、存储压缩等。同时，我们也提供InfiniBand和以太网两种方式来解决不同的应用场景问题。

总体来说，在整个网络架构、芯片设计、网络操作系统上，我们都在不断优化提升算力。另外，我们还有很多开放接口提供给客户去做自己的应用，大家共同在网络方面去提升算力的支撑。

元宇宙对IT基础设施带来了很大的改变，未来有哪些新的技术方向值得关注？
施澄秋：元宇宙必然是在云上，云服务商自然要在数据中心引入GPU算力，而不是纯粹依赖CPU。在今后的云服务中，GPU的贡献度会越来越高。

目前AWS、阿里云、腾讯云、百度云等国内外领先的云服务商，或多或少都在使用GPU算力来支撑自己的应用，比如推荐系统、广告系统等。就像当初AWS把自己的闲置算力以出租的方式提供给客户一样，未来这些云服务商也可能会把GPU的算力开放到元宇宙上。

在未来的数据中心里，GPU一定是一体式的，这些GPU必须能够做到实时统一在线，并在不宕机的情况下实现资源的调度。所以，在未来元宇宙的构建过程中，IT基础设施建设必须要有GPU的实时参与，而且必须要让IT专业管理人员能够方便的、实时的去调度和分配资源。

崔岩：未来支撑元宇宙的数据中心，一定是3U（CPU,GPU,DPU）一体的，GPU在其中起加速计算的作用。

我也非常同意施老师的观点，未来会把分散在不同节点里的GPU算力资源，通过网络等技术手段，变成一颗大的GPU。用户不用再去考虑某个GPU在哪个服务器节点里，而是能够根据用户的算力需求动态的调整算力资源。

从开放性上说，NVIDIA作为一个芯片原厂商，不可能把所有的行业应用和场景都做了，所以一定会有ISV合作伙伴、客户的研发团队加入进来，在一个开放的体系中，以众人拾柴火焰高的方式做出更好的应用。

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年，是前沿企业级IT领域Top10媒体。获工信部权威认可，可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。