3D光场重建率先被中国团队推向零售商用！谷歌同款技术，哈佛高材生创办，高通投资认定...

Posted 2021-09-15 QbitAl

杨净 发自 凹非寺
量子位 报道 | 公众号 QbitAI

最近，大家都在讨论元宇宙。那是否有想过，在元宇宙里应该会如何购物？

是像这样，在手机端就能看到跟线下店一模一样的完整实物？

还是足不出户就可以美美的线下店？

又或者是，看上哪款就试哪款？

旁友们，是不是以为这就是搞个3D模拟，或者电影特效那种后期制作？

NoNoNo，其实都不是。

这个用到的是光场技术，模拟人眼，所见即所得。

这技术可来头不小。

前段时间谷歌I/O大会亮相的裸眼3D通话，就是基于这个原理——

将空间里人眼看到的光线进行采集重建，重现真实的三维世界。

如果把它用到我们日常的穿衣住行上，简直“高质量”了有木有！

事实上，已经有公司做到了。

而且还是一家中国公司——奥本未来，哈佛团队班底，那几张画面正是他们与几大品牌商的合作。

那么具体是如何实现这种逼真感呢？

什么是光场技术？

提到光场，就要说到我们的视觉感知。

人类能看到所在的世界，就是通过人眼，来接收现实场景中的光信息，从而进行感知。

如果我们能把空间中的光都记录下来，那我们就可以从任意角度、任意路径，去观察，去体验这个空间，就像到现场一样。

元宇宙电影《Ready Player One》里，主角进入前人的记忆信息，各种漫游，甚至查看细节来破案，要真的实现这样的场景，就需要用到光场技术！

光场技术，记录了七个维度的信息。

他们分别是，物体表面发光点的位置（x, y, z），物体表面的一个发光点，用来表示它发光方向的水平角度和垂直角度（θ, Φ），发出光线的波长表示为（λ）以及时间t。

别小看这七个维度，它就已经能对场景100%光线描述。

人看到什么，它就捕获到了什么，所以能根据观看需求任意调整视点、焦距和景深。

实际上光场技术之外，也有其他的方式来记录空间信息。

比如三维建模。相信玩3D游戏的旁友很熟悉了。要实现逼真的3D模型，且不说逼真的实时光照需要巨大的算力，单就光照、材质、几何等要有极高的保真度，就已经极具挑战性了。

或者使用一些摄影测量或者三维扫描的设备，但更多细节无法捕捉到，离电影里逼真的渲染效果相去甚远。

所以光场采集无疑是短时间内最快实现商业化的解决方案。

奥本未来就是研发的这项技术，有这几方面的的优点。

首先，采集设备比较成熟。只要一部手机就可以做光场的采集。

以往学界做光场采集，动辄就是几百个相机的阵列。

要么是由几百个小摄像头集打造的光场相机。

但奥本未来的技术团队表示，

采集过程可以使用任意相机，苹果手机后摄也可以。

但为了保证照片质量，一般使用单反相机。

此外，技术人员还透露，通常一件典型的商品只需要采集一两分钟的视频或者一百多张照片。

其次，除了采集之外，渲染也能做到普通手机APP甚至是手机web上。

以往光场数据十分庞大，想要在屏幕上完整渲染出来，需要高性能主机才能做到。但如今通过压缩算法，普通网页也能实现逼真效果。

比如，京东APP上试穿三维运动鞋，就用了奥本未来的光场技术。

还有在unity做的三维游戏也用到了光场模型，动起来的那种。

正是基于以上这些技术突破，奥本未来让真实空间和物体的整套流程变得更加高效。

目前，奥本未来自研了一款光场捕捉器，最小化人为干预，只需连接普通相机，即可快速自动化完成对常见物体的光场采集。

在面对海量SKU的电商行业，从采集、重建、部署到上线平台整套下来只需要一天就可以完成。

技术人员透露，当中成本只包括两部分：拍摄照片的人力和云端重建计算的算力，相当于传统三维建模的十分之一。

不过，他们坦言，当前仍然具有诸多挑战，比如，大规模场景重现。

跟高奢品牌打交道的奥本未来

最后，再来简单介绍一下奥本未来。

据官方介绍，它是一家用前沿技术来解决三维内容供给，并致力于将实时三维交互推向更多行业背景的技术公司。

团队方面，奥本未来由哈佛大学海归团队于2016年创立，创始人兼CEO雷宇博士是一名连续创业者，博士毕业于哈佛大学应用物理及材料科学系。

CTO沈方阳博士毕业于北航，是虚拟现实领域博士，曾在微软亚洲研究院、哈佛可视化计算组（Visual Computing Group）从事计算机图形学和视觉方向研究

此外，技术团队还来自于哈佛大学图形学实验室、北航虚拟现实国家重点实验室、微软亚洲研究院、清华、北大、北邮等各高校机构人员组成。目前也在积极广纳英才，比如图形学程序员了解一下？

融资上，团队们上轮完成了Pre-A轮融资，由高通、京东领投。此前的天使轮还包括华创资本以及多家清华系基金等投资机构。

截至目前，奥本未来已经落地服务超过30家品牌客户，都是大家耳熟能详的著名品牌。

当然也有一些接地气的平台合作伙伴，比如京东、微信小程序、天猫等主流电商平台。

而之所以跟品牌方、电商平台打交道，源于2019年的洞见。

随着用户对电商购物的体验要求越来越高，3D互动导购内容和场景开始大量增长，

相比与以往图片、视频等有限视角，3D素材、3D实时交互以及AR试穿试戴素材相关的需求只会越来越高。

直至现在，电商随处可见3D内容场景，比如商详页、频道页、店铺页、直播间、搜索页、会场页等等。

对于品牌电商来说，一整套低成本、门槛低、轻量级的三维内容方案成为他们的首选。

比如，便携式采集技术和低门槛的三维编辑工具可以帮助品牌与内容制作者节省制作的成本；

整个编辑存储发布都在云端，有助于多方协同；整个方案可以支持多平台发布的属性。

这么说起来，奥本未来所做的更像是一套底层基础设施，推动整个购物体验数字化、沉浸化、智能化。

如今元宇宙概念的爆发，似乎也印证了奥本未来之前的选择。

至于实现真正的元宇宙，需要更多像奥本未来的公司来共同打造技术底座。