如何构建开放“元宇宙”，你想知道的一切 | SIGGRAPH 2021 研讨会

Posted 2021-09-17 LiveVideoStack_

作者 | 琰琰、维克多

SIGGRAPH 2021在太平洋时间8月9日于线上召开。在此期间，Unreal Engine举办了一场题为“Building the Open Metaverse”的研讨会。本次研讨会涉及四个关键主题：平台和引擎、物理和数字世界的出现、可能的重大机遇以及互操作性和标准。每个主题分为35分钟演讲和10分钟问答两个环节。Cesium首席执行官、Unrel Engine主管Patrick Cozzi主持了本次分享会。

元宇宙与开源开放

 

元宇宙（Metaverse）的概念近期风靡全球科技和游戏行业，关于它的由来和命名不必再多少，我们现在要进一步思考如何定义和描述它。在很多专家眼中，一个真正的元宇宙，不应该只是互联网的三维扩展，而是应该追求更加开放的标准。

Patrick Cozzi表示，在Epic的视角中，元宇宙可以理解为大量独立的3D空间以指数形式相互连接而成的庞大网络，任何人都可以对其进行操控，就像一个虚拟的社交平台，用户可以从中获取他们想要的任何东西，比如聊天、玩游戏，购物和看电影。 

同时，他强调，“这个虚拟平台应该是绝对公开和公平的，它能够满足消费者和创作者的利益，也能够在开发商之间形成良性的竞争关系。现在讨论这一点可能尚早，但它决定着我们看待这个世界的方式，是我们未来生活要面临的主要问题。”

在平台和引擎的主题分享中，三位专家主要探讨了开放性如何在元宇宙（Metaverse）中发挥创造性作用，以及开放性所代表的代码开源、开放标准、开放协作等一系列重要概念。

元宇宙是否需要统一的标准？

Rev Lebaredian是NVIDIA高级仿真技术工程师，他们发现，模拟虚拟世界是创建AI技术并将其带入虚拟世界的的关键，这意味着计算机图形学在AI应用场景中都能够发挥价值，它几乎涵盖了从机器人到自动驾驶汽车等所有领域。

近几十年来，计算机图形学在构建虚拟世界方面提供了核心的技术驱动力。过去，研究人员主要关注计算机图形学在娱乐领域的应用，包括提升视觉效果或者游戏画质。但随着第三次人工智能浪潮的兴起，这种模式似乎发生了转变。

我们以前很难想象如今的互联网会变得如此庞大，如此重要。在Lebaredian看来，如果它不是开放的，没有统一的标准，每个浏览器不能以相同的方式显示同样的内容，我们今天不可能在这里共享会议，甚至讨论未来如何共享虚拟世界。在互联网世界中，我们可以一起创造，一起行动，一起工作。

他认为，我们需要像互联网那样的一套标准来定义元宇宙。从不同的角度来看，通过低水平管道建构元宇宙都是最好的方法之一。

自Web诞生至今已制定了许多标准，但显然，如今web中使用的3D轻量级表示仍然不足以满足需求，它需要增添独立的应用程序和设备，以在web之外运行不同的软件堆栈，并提供更丰富的三维体验。Lebaredian认为，对于未来的元宇宙，仅仅把3D置于2D网络中是远远不够的。而是需要围绕一套完整的三维web构建标准，将二维web嵌入到三维网络中。

我们知道，二维web和三维web中的文件有着明显的差别，前者的数据尺寸往往要大得多，因而需要一个增量引擎来沟通二者之间的差异和变化。Lebaredian表示，模拟虚拟世界需要耗费大量算力，才能获得逼真的效果和复杂的环境，我们需要最大限度地利用现有的资源和标准，尤其是云计算。

同时，他认为制定标准还可以有助于消解内容创建和内容消费之间的界限。“我们所想象的元宇宙应该是一个动态的世界，人类能够修改、添加，甚至操控它。就像网页一样，从最初的html1发展到后来的HTML5，它变得越来越丰富，以至于能够运行大部分应用程序。”基于此，他相信未来Pick Stars，USD formats、API和引擎将形成未来元宇宙的基础。

从根本上说，要想建立一套完整的开放标准，任何一家公司都不可能独立完成，它需要各位从业者像搭乐高一样来共同来建构它。元宇宙是一个庞大的网络，它超越了互联网，超越了任何一家公司。从这一点来看，Lebaredian表示，我们需要从一个原则做起，即保留各行各业的人们在特定的工作流程中所使用的工具。

此外，就像HTML1难以满足Web的所有需求一样，如今USD仍缺少很多实时的功能。

元宇宙是一个无限系统

Royal O‘Brien是Linux基金会数字媒体与游戏部分总负责人。他的工作涉及如何实现技术的开源开放，并将其通过协同效应赋能到不同的企业，让更多的开发者受益。他表示，虽然大家都在谈论元宇宙，但它到底是什么我们并不清楚。

他表示，元宇宙不仅局限于娱乐、商业以及社交等领域，它涉及范围可能是无限的。“目前我们已经开发出了移动网络、AR/VR等技术用来创建虚拟世界，未来可能还会出现虚拟嗅觉、神经植入等技术，面对这种未知和挑战，我们必须提前做好准备。”

对于分布式系统而言，集线器（hubs）是至关重要的。我们所有人不可能在同一个地方学习新闻或进行社交，每个不同的地方都需要成为一个独立的交互中心。而这样会让不同的集线器具有无限的可伸缩性，因为它们需要延伸到整个Web结构当中。

从社区的角度来看，开放共享确实能够带来最大的创新和增长速度，这是人们不断进行交流与合作的结果。如果从一个组织的角度来看，这些技术的知识产权可能会限制用户的使用，并减缓增长速度。

而从开源的角度来看，技术资源可以被无限制的使用。任何不同规模、不同地域的公司都可以参与同一个开源项目中。而这意味着，开放标准需要按照一个通用的模式来建立，否则会在迁移性和可兼容性方面遇到阻碍。事实上，开源与开放标准不是同一件事。开源可以理解为实现，开发者可以在任何地方与任何人自由地共享代码，但代码的归属权仍属于一个人。

通过社区的形式组织不同类型的活动，有助于软件的使用和贡献代码，而一个有很多开放标准的软件，可以让开发者们避免重复造轮子。

开放标准中的开源软件更符合规范。创建一个可自由使用的标准，重点在于如何实现上层能力的可迁移性。开放标准委员会更关注有利益相关者，他们更注重开源质量和标准。由于开源通常是由开发者用户的实际需求驱动的，他们在使用开源软件时，往往会产生很多新的特性和需求。

在Royal看来，开放标准和开源支持任何人的分享和贡献，同时防止了供应商垄断的同时，这为创造可持续的生态系统提供了重要保障。事实上，一个可持续生态系统从根本上代表了一个完整的商业系统。

这是一个循环模型。如果一个技术社区能够满足企业所提出的需求，它必然会吸引相关公司来进行共同研发和完善，而更多不同社区和团体的参与，或许能够将这项技术转化为一个扭转局面、开拓市场的新产品。

从商业的角度来看，这些项目中产生的技术，可以转化为产品，进而形成利润。如果要想在社区、商业和开源项目之间实现这种转化，一个基本要求是必须拥有一个完整的生态系统。因此，从企业的角度而言，他们可以将公开研发的技术转化为商业产品或解决方案，进而获取利润。换一个角度来讲，他们参与并投资到开源技术社区中，使飞轮持续运转，也是公司良性发展的关键。 

如何打破虚拟与现实的界限？

Vladimir Vukicevic 是Unity软件工程师，对于元宇宙，他认为，我们需要思考的是虚拟世界与现实世界如何互动的问题，人们是否只能通过内置耳机体验虚拟世界？如何增强虚拟世界的现实感？ 

在他看来，将现实世界和虚拟世界完全融合在一起，需要找到一种运作的方式。在这个运作系统中，大量传感器的输入是关键。创作者需要在虚拟世界中制作能够被理解所有的内容，并做出反应。

例如，我们很容易在一个简单的游戏中嵌入动画效果，但很难嵌入行为逻辑，这意味着进入属性时，并没有一种通用的方法来表达这些动画，尤其是一些元属性。然而，元宇宙由一组资产、属性和行为的构成的，它需要与其他虚拟内容组合在一起，并进一步实现与现实世界的交互。

事实上，我们并不会事先知道这些行为具体是什么。Vladimir 认为大规模数据开发，是找到这种可知行为的主要途径之一。他表示当我们在数据和行为之间有了清晰的连接后，就可以开始独立地进行处理，并从中发现用于建立事物的共同语言，描述事物的方式，描述事物行为的方式。

如何创造数字化世界？

 

Teddy  Bergsman 是游戏巨头Epic Games公司高级主管。他认为，很长时间以来，只有在拥有顶尖艺术家的团队才能真正实现大规模的数字化创作，这是因为数字化创作是一个昂贵且耗时的工作，个人或小型团队往往难以承受。在10年前，要想解决一个问题必须组件硬件/软件团队，并通过公共数字图书馆的形式共享给所有人。

为了捕捉真实世界的输出，大部分公司一直在执行扫描世界的任务，而由此引发了很多人的疑问：使用任何引擎构建数字化场景是否都需要构建块？Teddy 在会上提供了一张利用游戏引擎技术扫描的完全交互式的实时环境图，如下：

在他看来，在虚拟制作和相机特效的情况下，使用相同的扫描和实时技术可以合并物理和扫描集，使其沉浸在数字世界的“火山口”中。然而，我们目前只是触及了这些令人兴奋的技术的表层功能，还远远没有达到可以扫描地球的地步。

据悉，一个来自全球范围内的200人团队正在建设图书馆和研发扫描技术，从完整的生物群落到复杂城市环境，他们尝试捕捉一切。

捕捉如此庞大和精细的真实世界是一项艰巨的工作，任何一个团队和公司都无法独自完成。对此，Teddy的观点是，要让我们的星球真正全面地实现数字化，不能完全靠自己完成，同时要开源扫描库本身和创建的硬件和软件。

为了达到这个目标，Teddy认为有三个关键问题需要解决。第一、智能手机能够进行高质量的扫描，以消除对专用设备的需求，其关键的挑战是为度量构造和纹理生成开发高质量和足够快的处理算法。第二、如何进行在云中进行自动化扫描处理。第三，如何在质量、税收密度、标签特征等方面进行标准化。

Shehzan Mohammed是 Cesium 公司项目主管。他认为，大规模数字化能够显著提高虚拟场景中更多物理细节的真实感，且大幅降低内容制作的成本。

他们目前正在大力投资开源、运行引擎和数据库，使所有开发人员和平台能够集成现实场景中的更多细节。如果得以实现，这将意味着任何游戏引擎平台，包括促销和专有平台，也可以使用这些库集成3D。

Shehzan表示，尽可能地利用真实世界的位置和数据，对于创建丰富的虚拟世界至关重要。正如有专家强调的那样，这件事就像互联网不会被一个实体所控制一样，它需要多种协作方式，并且相互之间具有互操作性。元宇宙的目标是使活动和内容创建能够更轻松，而实现这一点的最好方法是使用开放标准，APS协作来授权创作者。”

“我们一直在探索一种工具，能够灵活设计人类的数字分身。无论是长相还是行为方式，都可以完美‘复刻’。这一工具要求数字分身和‘真身’的性格一样，记忆相通，当在数字世界中畅游的时候，体验也应该是连续的。”

不同的人有不同的数字大脑，每个人都有自己的数字分身，这是一种相互连接，也是一种新的世界。只有这样我们才有足够的“灵性”填充这个世界。总之，在物理世界和数字世界之间搭建桥梁是一项复杂的挑战，需要整个行业的努力。而在Mohammed看来，管道和运行时间是需要重点要解决的问题，因为它能够将地球场景中的每一厘米数字化。

元宇宙的机遇与挑战

Samantha是PitchFWD创始人，也是纽约大学的教授，以“如何加速新技术的应用”为主要研究方向。在他看来，在解释一个新事物时，我们需要明白用户感兴趣的方向。站在用户的角度，我们应该思考元宇宙是怎样的一个世界，用户如何互动，如何达到沉浸式体验，能够收获什么。

游戏、VR/AR/MR、社交等领域被业界视为元宇宙的重要突破口。作为一位资深游戏玩家，Samantha表示，他作为用户最关心的是虚拟世界的体验感，是否能够与真实世界无缝连接。其实，元宇宙更多的是在真实世界中的，而且有更多的用户，互动性更强。玩游戏的过程中，更具有沉浸感。如果想要交易，那么所使用的货币是数字的。更重要的一点是，在元宇宙里，只要你想，就可随心到达任何时间点和地点。

关于元宇宙里的速度是多少？安全隐私用什么保护？用什么设备连接真实世界和现实世界？等问题，Samantha认为，元宇宙的速度和真实世界是一致的；隐私可以用区块链等技术保护；至于连接设备，眼镜是个不错的载体。关于交互性，在元宇宙里，万物皆可互动。

2021 年 3 月 10 日，Roblox率先将“元宇宙”概念写进公司招股书并成功上市，因而被称为元宇宙第一公司。Roblox将元宇宙定义为具备身份、朋友、沉浸感、低延迟、多元化、随时、经济系统、文明八大要素的虚拟世界。Morgan McGuire是Roblox公司首席科学家，他表示，Roblox正在尝试为用户提供多个角色，同时打造实时高效的游戏引擎，实现云数据存储功能，并开发更多协作性内容创作工具。对此，他们现阶段需要解决的挑战，包括三个方面： 

第一个挑战是大规模的分布式系统。具体包括需要为所有用户提供自定义的头像， 完全模拟的3D云环境和能够扩展的客户端；大规模的网络管理。

第二个挑战是自然语言处理。在系统中，你需要为玩家构建一些NPC，如何能让这些NPC自主灵活对话，非常不容易。由于用户来自世界各地，他们的语言不通，因此所需要的实时的语音翻译技术还需要加强；再者，如何为那些有视听障碍的用户提供设施，也是当前需要解决的问题。

第三个挑战是如何加强内容创作。我们采取的方式是让专业人士指导孩子；利用AI的过程性生成；提供支持模拟的编辑器；以及创作的时候支持验证、剖析和调试。

此外，Neil Trevett在会上分享他关于“元宇宙是如何进化的怎样进化”？这一问题的思考。在他看来，元宇宙就像一个去中心化的网络，能够横跨现实与虚拟世界。在技术上，其架构需要更加先进的用户界面，社会交互以及服务的多样性。但是到目前，并没有一种设计或者路线可以满足所有需求。 

构建元宇宙需要合成视觉现实、实用XR光学、实时环境扫描和语义理解、精确的物理模拟、高效的远程社交、网络传输的低延迟等技术。至于它会如何进化？Trevett表示，可以肯定的是，进化将是有机的，达尔文式的想法、创新、商业成功和失败的有机结合，这一过程必将伴随混乱、协同以及令人敬畏的实验。另外，成熟的解决方案将出现并被广泛采用，为下一轮创新奠定基础。他具体谈论了以下几点：

首先，标准是基础，它决定了元宇宙的基础设施有多牢固；再者，如果一个平台想要更加适用，就要符合多种标准。然而，开放的标准和开放的资源非常重要，真正的开放标准不是由任何一家公司控制的，它必须由多家参与，而且定义明确。

开放的标准等同于共享规格。这需要一个稳定的设计目标，可能需要时间才能就新标准达成共识，因此，一致性测试至关重要。

 

如上，开源意味着共享实施（Shared Implementation）。

另外，需要明确专有技术和开放标准其实并不是水火不容的关系。他们之间即复杂又相互依赖。专有技术标准能够推动创新，达尔文试验场智能创新者可以保持长期优势；开放标准能够满足广泛的技术需求，推动技术进步。因此，标准是进化的重要因素。

关于一些疑问

提问1：如何才能让数字虚拟世界更加普遍、实用？

Teddy：最重要的是打开眼睛，发现世界的美好，然后获得设计虚拟世界的启发。本质上讲，我们的任务不是复刻现实世界的每一个细节，而是复刻现实世界中最有价值的东西，然后代表这世上的美好。

听起来很简单，但是做起来非常困难，毕竟评价一个物体、事情是否有价值一直是巨大的挑战。对比来看，将物体扫描进引擎、工具反而是非常简单的事情。

提问2：对物理世界进行数字化是一件非常棒的事情，将真实世界数据进行组合，然后让艺术家对其进行修改。那么，请问你对DNN、GPT-3在数据生成的作用怎么看？

Mark：我一直强推数字大脑，无论是程序还是人类，在里面创建的数据都会有相应的作用，并且数据创建的数量是无限的。

构建一个“婴儿”类型的智能数字系统至关重要，对于人类来说，我们对不同的数据类型有不同的反应程度，例如词汇、声音、情感等等。人脑能够处理其带来的无限数据，并归纳为有限的行动。所以，数字大脑的设计不可能是“静态”系统，而是一个学习的模型，从而能够应对正在变化的内容。

Teddy：我从小就梦想着能与数字人进行自主对话。其实，一个程序所生成的事情，不一定非得是“当下”，可以是历史。想像一下，你走在17世纪的“大道”上，和那里的人进行交流，了解关于17世纪这个时代的情况。这是一种沉浸学习历史的方式，在数字虚拟的背景下，这种学习方式大有可为。 

提问3：为了实现这个目标，需要考虑哪些问题？

Mark：隐私必须要考虑，如何控制内容也遇到了很多挑战。面对两个世界的时候，如何调节“冲突”也是需要考虑的事情。

Teddy：请人类牢记：虚拟合成的东西，在现实世界中并不存在。我们正在为现实世界建模，这样那些艺术家和工程师就可以把精力放在“创想”上。

---

扫描图中二维码或点击阅读原文

了解大会更多信息

喜欢我们的内容就点个“在看”吧！