「技术」Google Map干掉倾斜摄影了？

Posted 2023-04-24

参考技术A

相信这两天大家朋友圈都被Google Map新功能演示刷屏了，视频中介绍说Google Map将在一些城市实现实景渲染，在手机中能够就从不同视角能逼真地浏览城市场景，甚至还能实现从室外到室内的无缝融合。

这个视频引发很多讨论，看明白的、看不明白的都在各抒己见，真的非常有意思。有人看到视频中从室外飞到室内，就联想到国内房地产行业做的一些卖房应用，直言房地产公司已经吊打谷歌；也有人看到视频中围绕着威斯敏特大教堂转一圈，就觉得这不就是倾斜摄影，早就烂大街的东西。

那正在看这篇文章的读者，你的心里又是什么看法呢？

究竟是不是谷歌不行了呢？

02

Block-NeRF是什么？

伟人说过，没有调查就没有发言权。想搞清楚这背后的技术细节，最好的办法就是去看文献。刚好在CVPR 2022会议上就有一篇Google员工发表的论文《 Block-NeRF: Scalable Large Scene Neural View Synthesis 》，该论文就是Google Map这次产品更新背后的实现技术。

单看论文题目，可以知道这篇文章主要介绍一种叫做Block-NeRF的新方法，这个方法可以进行大场景神经视图合成。

视图合成，简单来说就是根据已有的视图（也就是图片）来合成一张不同视角下的新图片。举个不恰当的例子，你站在一个人左侧拍了一张照片，又站在一个人的右侧拍了一张照片，这时候你想知道站在这个人正前方拍的照片是什么样的。你在这个人左右两侧拍的照片就是已有的视图，而你想要的正前方的照片就是需要合成的视图。

当然，实际操作中一般会拍摄更多的照片，否则就难以达到理想的效果。视图合成并不是什么新概念，早期很多Image Based Rendering方向的论文就是做这个的，比较基础的方法也就是通过对现有图像进行插值来生成新的图像。当然，为了不断地提升合成图像的质量，方法变得越来越复杂。

来到AI时代，自然也会有人考虑用AI做视图合成，其中的佼佼者就是NeRF。NeRF 是 2020 年 ECCV 上获得最佳论文荣誉提名的工作，其影响力是十分巨大的。NeRF 将隐式表达推上了一个新的高度，仅用2D的姿态已知的图像作为监督，即可表示复杂的三维场景，在新视角合成这一任务上取得非常好的效果。但是NeRF受限于有限的模型容量，只能重建小尺度场景，比如一个物体、一个房间、一栋建筑等等。

Google在NeRF的基础上更进一步，通过将场景分割为多个部分，每个部分单独用一个NeRF进行训练，最后将各个NeRF合成的视图混合，从而实现大场景的视图合成。这就是Block-NeRF最核心的思想。

03

你还认为Google Map渲染的是倾斜吗？

我们现在文章里找找证据。文章在研究现状首先就介绍了大场景三维重建的内容，提到COLMAP、PMVS等知名计算机视觉项目，但同时也提到通过3D重建得到的模型存在很多变形和黑洞，这正是现在倾斜摄影模型存在的严重问题。

最后，总结说三维重建更加注重精度，而本文的任务属于新视图合成领域，甚至Block-NeRF算法都没有利用SfM(Structure from Motion)算法来获取相机位姿，仅利用车载传感器读数作为模型训练数据。

看到这里，我想大家都知道Google Map渲染的不是倾斜模型了。可是为什么要大费周章地用几百万张图片来训练Block-NeRF模型呢？从视频中不难看出，浏览过程中非常平滑，没有倾斜那种LOD过渡的感觉，而且，合成出来的图像还可以进行光照、天气等效果的调整。

当然，肯定还会有人说，现在把倾斜摄影模型导入 游戏 引擎也能有各种光照和天气效果，但是倾斜摄影模型本身的纹理就已经记录拍摄时的光照信息，即使添加一些 游戏 引擎的效果，所看到的画面也没有Google Map那么纯净。

另外，Block-Neft里还提到在制作训练数据时，把图片中的移动目标（如车和行人）等遮罩掉，使得合成的图像里不会出现车和行人的干扰。相较之下，倾斜摄影模型中的车辆和行人往往需要人工去压平修复。

从个人角度来说，我觉得Block-NeRF比倾斜摄影更加优雅。只要根据用户浏览的位置和朝向，就可以在云端实时渲染出一张以假乱真的图片。虽然倾斜也可以走云渲染的路线，但就显示效果和渲染效率来说，目前看到的应用案例也仅仅时刚刚够用而已。至于Block-NeRF会不会取代倾斜摄影，个人觉得目前并不需要此类的担心。

菜鸟都应该知道的倾斜摄影测量知识

参考技术A 所谓“站在巨人的肩膀上”在这篇文章中就很好的体现出来了，本文的一些图和一些概念就是借鉴“巨人”发表的文章中的图和概念。这还得感谢这些“巨人”把我们领向一条光明大道。我不是摄影测量的专业人士，GIS圈也只是个刚入门的菜鸟。请允许我从一个菜鸟的角度，来说说那些菜鸟入门级的倾斜摄影测量知识。
近些年，倾斜摄影测量在GIS圈掀起了一阵巨浪，有人说他颠覆传统的测绘领域，有人说他替代了传统建模方式。正因为倾斜摄影测量被带上了这么多光环，人们开始对他有形形色色的猜想，让它变得越来越神秘。就让咱们来看看倾斜摄影数据的效果图。

我们先来看看倾斜摄影测量，和我们传统的影像有什么区别？
从数据采集的方式来看，传统影像是通过飞机上搭载的航摄仪对地面连续摄取相片，而后经过一系列的内业处理得到的影像数据，获取的成果只有地物俯视角度信息，也就是视角垂直于地面。而倾斜摄影测量测试通过飞机或无人机搭载5个相机从前、后、左、右、垂直五个方向对地物进行拍摄，再通过内业的几何校正、平差、多视影像匹配等一系列的处理得到的具有地物全方位信息的数据。简单理解就是，影像上地物是在一个平面的，倾斜摄影测量地物是具有真实高度的。

我们知道了倾斜摄影数据采集的方式，通过倾斜摄影数据加工的关键技术，比如多视影像联合平差、多视影像关键匹配、数字表面模型生产和真正射影像纠正等，得到地表数据更多的侧面信息，加上内业数据处理，得到数据的三维模型。
下面，小伙伴们一起来揭开倾斜摄影测量数据神秘的面纱吧！倾斜摄影测量的数据本质上来看是mesh模型，什么是mesh模型呢？mesh模型就是网格面模型，它是点云通过一些算法，比如区域增长法、八叉树算法和波前算法等等构成的。而点云是在同一空间参考系下用来表示目标空间分布和目标表面特性的海量点集合。内业软件基于几何校正，联合平差等处理流程，可计算出基于影像的超高密度点云，如下图：

上面两张图看来切割的方式展现出来的效果还蛮不错的，有条有理的，但是当你拉近到一定程度的时候效果是这样的：