虚实接口是当前元宇宙发展的重中之重

Posted 2022-02-01 chszs

虚实接口是当前元宇宙发展的重中之重

• 2021-12-3
• 版权声明：本文为博主chszs的原创文章，未经博主允许不得转载。

1 雾里看花的元宇宙

目前国内外人士对元宇宙的认识极不统一，没有一个明确的定义，有些甚至相互矛盾，借用一句来自哈姆雷特相关的经典点评，“有一千个参与者，就有一千个元宇宙。”

即使众说纷纭，但普遍的共识是元宇宙之父科幻作家尼尔·斯蒂芬森于1992年在其著作《Snow Crash（雪崩）》中提出的原始概念：“用户穿上头戴设备终端，开机即可连接进入一个由计算机模拟的三维现实，所有用户都可以在这个模拟的三维现实空间中拥有自己的分身（Avatar，也可译为阿凡达）。在这个虚拟世界中，现实世界的各种事物都可以被数字化复制，用户可以在虚拟世界中做任何现实生活中的事情，如逛街、聊天、游戏等。此外，人们还可以完成真实世界里不能实现的野心，比如瞬时移动。”

2 元宇宙的技术基础

很多业内人士相信，元宇宙的通信基础是互联网、5G技术、WiFi6、物联网等，元宇宙的算力基础是云计算/数据中心，元宇宙的数据处理依靠云计算、大数据、人工智能，元宇宙的虚实接口是XR（即VR、AR、MR等）和脑机接口，而在元宇宙的构建和内容生成方面，人工智能则扮演着重要的角色。

元宇宙整合了现今计算机领域的诸多新技术，以此为基础构建和产生了新型的、虚实相融的、互联网应用和社会生态。故元宇宙吸引了各路资本和众多科技巨头纷纷入局。

科技始于幻想。如果说目前的互联网可以看作是元宇宙的初级阶段，因为互联网完全满足元宇宙的各种基本设定，人们在互联网上拥有众多身份/化身，可以社交、游戏，可以足不出户的“旅游”，了解天下事等。那么，科幻小说家们已经为我们设想了元宇宙的高级阶段，像《黑客帝国》、《阿凡达》、《头号玩家》等都是元宇宙高级阶段的表现，用户通过头戴设备或特殊装置，连接进入虚拟现实空间。
可见，虚实接口才是元宇宙发展的重中之重。虚实接口也即虚实交互，元宇宙要求沉浸感、参与度等，其本质就需要提供远超现今的新型显示和新型交互。

3 元宇宙的虚实接口

六识，即眼识、耳识、鼻识、舌识、身识、意识也，分别对应于人体的视觉、听觉、嗅觉、味觉、触觉，以及第六感（也即人的意念力或精神感应）。而元宇宙要实现人的沉浸感，就必须从人的六识方面着手。其中，

眼识：针对视觉的产品有液晶屏幕、AR/VR眼镜、VR头盔等，在二维视觉领域目前的技术已能满足需求，像4K视频、120Hz高刷、视网膜级别的屏幕，这些都能给我们带来很好的观影体验。但在三维视觉领域，目前的技术还相差较远。

在VR领域中，有一种现象叫“纱窗效应”，也就是说由于VR眼镜（屏幕和内容）的分辨率不足，人眼会直接看到显示屏的像素点，就好像隔着纱窗看东西一样。尽管目前的手机屏幕，大多都已经达到甚至超越了视网膜屏幕的像素密度（326PPI），但这样的屏幕应用到VR领域，仍然会有纱窗效应。要彻底消除纱窗效应，解决方法一方面是提升VR屏幕的像素密度，另一方面是提升VR内容本身的分辨率。

据专业人士测算，VR显示屏要达到“视网膜”屏幕的显示效果，就如同电影《头号玩家》那样的头盔接入体验，其像素密度需要提升到5K PPI。而如果是提升VR内容本身的分辨率，则需要达到16K影像级别。而目前，高端手机的屏幕像素密度也才400多PPI，视频内容则大多是1080P、4K这个级别，8K视频还寥寥无几。要提升到5K PPI和16K影像级别，还有很长的路要走。我们思考一下16K视频，一部影片需要多大的存储容量？而如果通过网络传输16K视频，又需要多少网络带宽？16K视频还意味着需要新一代的音视频编解码技术等，这些都是需要继续研究攻克的技术难点。

耳识：针对听觉的产品有耳机、音箱等，技术相对成熟。无论是5.1/7.1声道、杜比音响、环绕立体声、High-Resolution Audio等，技术都比较成熟。但在VR音频领域，需要表现出声源的空间位置，这样才会有身临其境的感受。目前VR音频领域发展中的技术主要有两种：Object Based Audio和Higher Order Ambisonics，都还处于发展过程中。

鼻识：针对嗅觉的产品基本没有。气味电影或称嗅觉电影可以视为这个领域的初步探索。而所谓的气味电影，是首先将气味分成了三十多种类型，比如：树木、草、排泄物、花卉等，在观影时，随着影片情节的内容散发相应类型的气味，让观影者产生相应的嗅觉反应。更进一步地研究做法是利用特殊传感器模拟生物电信号，发送和传递到神经系统，从而诱导用户产生相应的嗅觉反应，目前这个领域尚处于起步阶段。

舌识：针对味觉的产品尚在起步阶段，还未见到有实际的产品。相关的一些研究有将神经网络作用于人工味觉系统、味觉信号的识别等。

身识：针对触觉的产品有体感交互设备、人体传感器等，比如微软已经停产的Kinect，HTC Vive的体感手柄等。体感交互设备涉及到两个关键技术：实时三维场景重建和实时人体骨架信息提取。此领域跟机器人领域有较大的重叠区域，处于高速发展过程中，比如美国波士顿动力公司的机器人、机器狗等产品。

意识：针对第六感的产品主要是脑机接口。而脑机接口领域，目前还处于初级阶段。脑机接口设备按侵入程度分为植入式和非植入式，目前非植入式的脑波信号识别准确率较低，而植入式的脑波信号识别准确率较高。据国外的研究表明，在2013年用脑电波打字的平均速度是每个英文单词1.91分钟，到2021年5月，美国斯坦福大学研究人员宣布，面向瘫痪患者的脑机接口输入测试，患者每分钟可键入90个字符，注意这个单位是字符。可见，脑机接口领域还有很长的路要走。

我们畅想未来，如果元宇宙的虚实接口发展到高级阶段，人们的思维意识可以无线、实时、长期与元宇宙连接，视觉、听觉、嗅觉、味觉、触觉、意识也可以通过相应的智能传感器设备直接作用于人体的神经系统，或许我们就会像《黑客帝国》所展现的那样，再也分不清现实和虚幻。就像《黑客帝国1》里背叛人类的那个光头小胡子，他坐在牛排馆跟特工交谈时说道：“我知道这块肉并不存在，我知道，当我把它送入嘴里时，母体（Matrix）就告诉我的脑子说这东西既多汁又美味。”
也许在那个时候，一个名叫墨菲斯的黑人向你走来，摊开左手，一颗蓝色药丸，一颗红色药丸，你选择哪一个？

我们仔细研究脸书、微软、英伟达等进军元宇宙的公司就会发现，这些国际巨头们的研发重心都不约而同地瞄向了虚实接口。脸书研发Oculus、Oculus 2、Project Cambria 高端VR头显、以及代号为Project Nazare的AR眼镜；微软研发HoloLens、HoloLens 2等MR头显设备；英伟达则致力于打造Omniverse这样一个专为虚拟协作和逼真模拟构建的开放平台。这些公司的研发重心都是围绕提升人的六识感受。号称“元宇宙第一股”的Roblox，如果你登录它的游戏社交平台去体验后，你会发现它仅仅是适合青少年的游戏社交平台，人物造型长得像积木似的，距离《游戏玩家》所展现的元宇宙体验还极其遥远！