骁龙AR2平台解析:分布式架构开启轻量化AR眼镜新时代

Posted 青亭网-

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了骁龙AR2平台解析:分布式架构开启轻量化AR眼镜新时代相关的知识,希望对你有一定的参考价值。

在今天的骁龙峰会2022上,高通面向轻量化AR眼镜推出了专属SoC:第一代骁龙AR2平台,这套方案将骁龙XR1、骁龙XR2的单片式方案,改为多芯片分布式SoC方案,同时融合了分离式渲染,实现一整套的AR/VR与智能手机、PC等设备的分布式处理方案。与此同时,这里面也有很多值得关注的地方,接下来为大家带来第一代骁龙AR2平台的解析。

一、 骁龙AR2平台

可能你会好奇,高通之前不是已经推出了XR1、XR2、XR2+几款XR专属芯片了吗,今天这款AR2芯片有什么不同之处呢?

没错,之前的XR平台芯片为单片式方案,可同时面向AR/VR/MR场景,因为高集成度可以让其实现更复杂的任务,例如基于XR2的PICO 4、Quest 2可以流畅运行VR一体机游戏。

而今天发布的骁龙AR2则是首个专为AR眼镜打造的平台,特点是全新定制开发,4nm工艺制程;以轻量化多芯片SoC架构,进行分离式渲染的模式。

听起来有点拗口,这里说一下分布式架构和分离式渲染,以免大家产生误读:

  • 分布式架构:指骁龙AR2平台为多芯片组合模式(相对于之前XR1、XR2等为单片式芯片),包括:AR2主处理器(负责感知、显示)、AR2协处理器(负责摄像头聚合、AI和计算机视觉)、连接模组(低时延、低功耗Wi-Fi 7)三部分组成;
  • 分离式渲染:指骁龙分离式渲染方案,即XR设备端进行必要运算,重型计算和渲染交给智能手机或PC等设备。之前已经有很多探索,例如XR1 AR参考设计、XR2无线AR参考设计等,相关阅读:《芯片小幅升级,高通骁龙XR2无线AR眼镜参考设计解析》。

 

骁龙AR2主处理器中Spectra ISP用于环境感知、定位追踪,拍摄照片和视频等,同时还有视觉分析引擎,在环境特征点扫描中会更高效。主处理器中Hexagon用于手势追踪、图像处理等用途,通过上图可见相比上一代平台手势延迟(红色阴影为AR2平台、蓝色阴影为上一代平台)会更低。协处理器主要用于眼球追踪、以及基于AI和计算视觉的部分。

二、分布式架构

面向AR/VR领域当前已经有一些专属SoC,几年前高通就推出XR1,之后又推出XR2平台,到最新的XR2+平台,这些都是单芯片方案,对于VR/AR一体机来说是很不错的方案,但是对于AR眼镜来说就存在挑战,例如对体积、散热、功耗和续航等方面。

以XR2为例,它可以独立完成高性能渲染、6DoF定位追踪、手势识别、眼球追踪等等复杂功能,这些都在一颗芯片中完成,因为一体机方案整体空间相对丰富,因此可以满足这种重型任务,而在AR眼镜中单颗芯片方案在实际应用中就会有明显的不适用。

例如上面提到的散热就是最突出的一个问题,因为轻量化AR眼镜为了保证重量足够轻、外观足够小巧,不得不对空间进行大幅压缩,这也对产品ID结构提出更高要求。而且AR眼镜往往采用被动散热,并不能像VR一体机那样可以融合风扇进行主动散热。

因此骁龙AR2基于多芯片的分布式架构,将主芯片、协处理器、网络通讯模块三部分拆开,可以充分发挥其优势。高通表示:骁龙AR2平台专为分布式处理架构优化,在尺寸、功耗、性能方面都有更好的表现。

尺寸部分,骁龙AR2主处理器对PCB的尺寸相比骁龙XR2面积小40%。同时,分布式架构方案,可将信号线数量减少45%。

功耗方面,骁龙AR2平台的功耗可<1w,相比骁龙XR2平台功耗降低了50%。

性能方面,相比骁龙XR2平台,骁龙AR2平台在图像分类 (MobileNetV3)、图像识别 (YoloX)、手势追踪 (Mediapipe)方面的AI能力提升了2.5倍。

三、 分离式渲染

分离式渲染我们之前提到过很多,最开始的分离式渲染从有线发展而来,可有线方案将眼镜和计算单元的算力进行负载分配,而之后在XR2无线AR眼镜参考设计中升级为无线方案。

再到现在,骁龙AR2平台中基于Wi-Fi 7的无线连接方案,这也是分离式渲染的一个重要变化。得益于FastConnect 7800,这也成为全球首个支持Wi-Fi 7的AR解决方案。实现首次为AR眼镜加入高频多连接并发能力,Wi-Fi的峰值速度达5.8Gbps,结合高通FastConnect XR软件套件2.0套件可实现功耗减少40%。

骁龙AR2平台也原生兼容骁龙Spaces开发者平台,同时高通骁龙AR2参考设计平台预计于2023年发布。

此外,骁龙AR2在结合第二代骁龙8平台(同为FastConnect 7800)的机型时,还可以结合后者自身优势,例如新加入的光线追踪技术。

四.相关问答

接下来我相信大家还是会有一些疑问,这里我结合高通技术公司副总裁兼XR业务总经理司宏国、和高通公司中国区XR业务负责人郭鹏的解答进行汇总。

1,骁龙AR2能否独立工作

不能,必须借助分离式计算终端搭配使用,这里的逻辑XR2无线AR参考设计类似。

在峰会的美国现场,还邀请了微软作为合作伙伴上台。据青亭网了解,微软对骁龙AR2提出了很多定制需求。

大家通过上图来看,无论是有线还是无线方案,分离式渲染走的是Linux BSP(猜测即将有OEM厂商针对此需求进行开发定制),而基于骁龙Spaces的应用还是走安卓BSP,同时这部分集成了骁龙Spaces Ready HAL,在往上就是骁龙Spaces服务apk和骁龙Spaces应用。

这里比较奇怪的就是分离式渲染走Linux,这部分因为还没有更多解读,猜测是为OEM定制的需求,因此等待之后实际产品发布后可能会有更多细节。

2, 骁龙AR2计算单元支持种类

目前骁龙8平台是理想的选择,未来也会扩展支持更多芯片。同时,除了第二代骁龙8移动设备还将支持骁龙平台PC或其他计算单元。

这部分高通推出了骁龙Spaces Ready计划,目前荣耀、努比亚、OPPO等手机公司都计划支持该计划。上图里列出了三个重要合作伙伴,微软、Adobe(双方)、Niantic。

3,Niantic开发机

Niantic AR眼镜硬件主管Maryam Sabour上台分享了自家AR眼镜原型,一共公布了两款,第一款是基于第一代XR2平台,是一款有线的分体式方案,还需要连接智能手机等算力终端。第二款则是基于第一代AR2平台,是一款轻量化AR眼镜分体式方案。

第一款基于XR2的原型后方为有线连接,眼镜本体造型没有进行太多优化,中间上方保留一组传感器模块)。

第二款基于AR2的原型是一体机方案,同时因为AR2平台还支持无线分布式处理方案。

从视频中来看,第二款头戴为柔性方案,后端区域可直接折叠收纳,有点类似于PICO Neo3的方案。

4,分布式方案是否必须为Wi-Fi 7

Wi-Fi 6或更早的Wi-Fi版本也没有问题,而Wi-Fi 7可以带来数据吞吐量、低时延、高频多连接并发等最新特性,

高通表示:这主要取决于同一房间内连接的稳定性,以及有多少用户同时参与连接,采用的哪个频段等。言外之意,如果同时连接用户多可能就导致不稳定。

5,产品定位

根据峰会现场的展示,骁龙AR2平台是面向旗舰AR眼镜方案所准备的,与XR2的定位相匹配;同时AR系列平台还有一款尚未发布的产品(下图右下角),将和XR1定位一致,猜测会是面向主流市场。

很显然,骁龙AR2目的就是为轻量化AR眼镜而来(高通表示,实际上也可以用于轻量化VR产品中),几个特点也很明显:4nm工艺制程、全新定制开发,分布式架构,分离式渲染,以及其在功耗、性能、还有最重要的尺寸上有明显改进。

那么骁龙AR2参考设计和骁龙XR2无线AR参考设计,虽然都是无线分离式渲染方案,但是SoC未采用分布式架构,导致了一些比较大的差异。但是通过今天发布的骁龙AR2平台来看,之前的基于XR2的无线AR参考设计像是为此方案铺路。

此前也有很多轻量化AR眼镜采用了骁龙W系列穿戴芯片,这些产品对算力要求并不高,仅是信息提示类用途,能独立工作就是其特点之一。因此,由于骁龙AR2为分离式渲染方案,短期来看还无法取代这类对算力要求不高的轻量化AR眼镜需求。

​综合来看,通过全新定制开发,再将分布式架构以及分离式渲染两套方案融合,以此来解决轻量化AR眼镜难以轻量化、性能表现不佳、散热差和功耗高等多方面的矛盾,将会是骁龙AR2平台的主要任务,当然我们非常期待看到OEM厂商的产品。

东芝发布运行Win 10的AR眼镜,它和Google Glass企业版有哪些异同?

https://www.leiphone.com/news/201803/Tw0nrq6vGDIvbmXr.html

技术分享图片

雷锋网(公众号:雷锋网)获悉,3月13日,东芝发布新AR眼镜dynaEdge AR,其由一个单臂眼镜和一个分离的计算单元组成。眼镜售价1899美元,面向企业级用户。

当所有的AR眼镜、智能眼镜做得越来越像普通眼睛时,dynaEdge AR的外观显得就不那么性感了。它其实是一个单臂的眼镜,可以搭配眼镜框,或者是工业安全帽,或者是护目镜等使用。其重量不到50g,可以说是目前很轻便的AR眼镜了。HoloLens重量超过500g,佩戴是个问题,他们也透露会设计成能与工业安全帽固定的方式。这说明工业环境中,眼镜好看不是关键,关键是能在多种场合下佩戴。

技术分享图片

然而,说dynaEdge AR是AR眼镜,或许有些不合适。它更像是头戴显示器,而不是增强现实眼镜。东芝承认其是"辅助现实",而不是增强现实。虽然有强大的迷你PC支持,但是dynaEdge AR并没有向高端的AR功能迈进,它并不能像HoloLens可以识别环境,将虚拟物体放置到现实环境中。

在雷锋网看来,HoloLens最大的特色是,其相当于将一个PC电脑放置在你的头上。dynaEdge AR也有强大的PC支持,但是其并不是走的HoloLens的路线,而更加接近Google Glass企业版。

技术分享图片

东芝在去年8月发布的口袋式迷你PC电脑——dynaEdge Mobile,作为dynaEdge AR的计算中心可以提供强大的性能。迷你PC尺寸为6.5 x 3.3 x 0.8 英寸,重量为309克。这款产品由第六代英特尔酷睿处理器驱动,运行Windows10Pro系统。其具备16GB RAM,512GB内存,可使用6小时。而由于没有分离的计算单元,Google Glass企业版仅2GB RAM,32GB内存。

dynaEdge AR眼镜上有640x360英寸1280x720像素的显示屏、500万像素摄像头、触摸式触摸板、3个控制按钮、接近传感器、环境光传感器、陀螺仪、加速度计、指南针、GPS、扬声器、麦克风等。东芝表示眼镜主要提供查看PDF文件、拍摄视频、视频通话、远程传输、工作流程指示、二维码扫描等功能。与目前大多数的企业级AR眼镜,例如Google Glass企业版、爱普生BT-350、亮风台HiAR Glasses、枭龙科技Techlens-T2等,没有太大区别。

The Verge记者体验了dynaEdge AR。在连接Wi-Fi之后,记者使用Skype进行了远程视频通话测试。记者通过眼镜拍摄图片然后发送给了远程同事。记者还尝试了用眼镜看PDF文档。这些应用都基于工作环境,可以解决工作时的基本问题,提升效率。

雷锋网了解到,除了硬件和应用场景之外,dynaEdge AR与Google Glass企业版最大的不同在于软件。DynaEdge采用Windows 10系统以及自己的软件平台Vision DE Suite。Vision DE Suite目前被划分为三个板块:通讯、文件和工具。

技术分享图片

Google则是与其他公司,例如Upskill和Streye合作来为AR眼镜开发软件。这意味着,企业和开发者可以自主为dynaEdge AR开发软件,而采用Google Glass企业版则只能与谷歌合作开发。基于Windows 10的AR应用也可以扩展到其他的设备。

以下是dynaEdge AR的官方参数:

显示:0.26英寸Diagonal,显示分辨率:640x 360,内容分辨率:1280x 720

照相机:500万像素,F2.8,焦点范围:10cm到无穷大,自动聚焦,视频捕捉:1080p/30fps,闪光灯

声频:内置扬声器,双麦克风

重量:47克

导航控制:3个控制按钮,触摸板

传感器:接近传感器,环境光传感器,陀螺仪,加速度计,指南针,GPS

连接器:USB Type-C

 

以上是关于骁龙AR2平台解析:分布式架构开启轻量化AR眼镜新时代的主要内容,如果未能解决你的问题,请参考以下文章

HCNA实验指南-配置路由器开启SFTP

AR隐形眼镜来了,一部手机的价格,正式开启人体佩戴测试

BIM轻量化平台功能对比

一文读懂 Apache Pulsar详细解析和实战运用

AR眼镜走向独立,从一个配件开始

知识蒸馏轻量化模型架构剪枝…几种深度学习模型压缩方法