来聊聊三维重建？

Posted 2022-05-17 李迎松~

2021年，对于中国而言，可以算是实景三维的元年，自然资源部发布《实景三维中国建设技术大纲（2021版）》，各地实景三维项目建设进入新高潮，对于测绘人而言，这算是一件大事，这似乎意味着，摄影测量进入了全新的实景三维重建阶段。2022年3月，自然资源部办公厅发布《关于全面推进实景三维中国建设的通知》，对全面推进实景三维中国建设作出了部署，一切似乎昭示着，方向已定，大家放手干！

我想结合点自己的经历和大家聊聊三维重建。

2009年，我进入武汉大学遥感信息工程学院攻读本科，摄影测量和遥感是我们的主修方向，在实际在应用上，摄影测量更多偏向使用可见光相机较近距离测量目标形貌与尺寸；而遥感更多的是使用卫星上的多光谱、合成孔径雷达、微波等传感器，来完成像远测距的地物分类、气象检测等任务。于是我们有了航空摄影测量、近景摄影测量、工业摄影测量以及多光谱遥感、雷达遥感、微波遥感、夜光遥感等细分方向。

我所在的武汉大学遥感信息工程学院，在遥感和摄影测量邻域，一直处于国际领先水平，这一定程度上得益于深厚的积累。从中国摄影测量与遥感学科奠基人王之卓院士开始，到如今的张祖勋院士、刘经南院士、宁津生院士、李德仁院士、陈俊勇院士、龚健雅院士，遥感院向来是武大院士最多的学院，我们本科时有一门课是全院士轮流教学，每一堂课上完都学生们都纷纷上去请求院士签名留作纪念，这是我印象最为深刻的学术盛况。

对我来说，摄影测量是我比较感兴趣的方向，我们最主要的课本是这本书： 《摄影测量学》（第二版）张剑清等 。书本里比较重要的部分就是共线方程、绝对定向、空中三角测量和数字正射影像。这本书修订于2009年，在10多年后的今天书中的知识确实已经是有些陈旧了，但是它也确实代表着21世纪初摄影测量的技术理论和发展方向。如今，计算机视觉的强力发展冲击着传统摄影测量，并强迫其转型，这也是技术发展的必然阶段，而理论的同源，让摄影测量和计算机视觉的结合也显得非常自然，这个转型并不是那么困难。

你也许可以笃定的认为，在三维重建方向，摄影测量几乎只在研究两件事：相机位姿恢复和目标位置测量，几乎95%的应用都是两者的延伸。而就这两件事从1851法国陆军上校劳赛达特开始用摄影术进行交会摄影测量到现在，已经研究了170年了。在近些年，三维重建技术明显得到了更多的关注，这一方面得益于技术的愈发成熟，也得益于自动驾驶、智能机器人、元宇宙的风口所带来的关注度，虽然技术上还存在很多需要解决的问题，比如弱纹理的深度估计、细小结构的精准恢复，但总的来说我们开始发现还是有非常多的应用可以用现有技术很好的解决，并实实在在的为工农业发展做出了贡献。其中典型的比如无人机三维测绘以及双目三维扫描仪，技术和应用都已经相对成熟。

结合目前的发展来看，传统三维重建算法占据着绝对的主流地位，比如SIFT/SURF、Ceres、SGM/PatchMatch/AD-Census、Possion/Delaunay/MatchingCubes、ICP等常见的算法，依旧是绝对主流。但是深度学习算法正在以强劲的势头进行冲击，在特征检测、深度估计等方向取得了非常好的效果，我想大规模落地只会是时间问题，这似乎是无法阻挡的趋势，也让人看到进一步突破三维重建技术天花板的希望。

2018年，我进入武汉中观自动化科技有限公司任职，我们的主要产品是手持式三维扫描仪，采用双目+结构光技术，专注于中小件测量，一个优势是测量精准，另一个优势是无视弱纹理，这是能够量产大规模应用的基础，在近景三维重建邻域，结构光技术可以说是应用最为广泛的，其中根本我认为是该技术的高精度和无视弱纹理优点，目前来看，双目应用的最成熟邻域，几乎都采用结构光技术，其中包括条纹结构光、线结构光、散斑结构光，从精度的高低来排，条纹>线>散斑，而从测量便捷性来说，顺序则相反。

双目重建技术，大体上包括相机标定、深度估计与融合、网格构建、网格处理技术，算法是核心，但硬件的质量与精密程度也同样重要，想成为一款具有绝对实力的产品，算法和硬件都必须有绝对实力。

算法的实力包括，数据的精确性、完整性以及数据生成的效率。在双目重建邻域，帧率是一个很常见的概念，它代表着一秒钟能够处理多少帧图像数据，每帧的处理结果是深度图或者点云，优化单帧算法的效率，是一个主要方向，基本上我们有4种主要的路线：1、选择更快的算法；2、采用CPU多线程技术；3、采用GPU多核优化技术；4、移植部分算法到嵌入式设备；5、硬件加速如FPGA。这意味着算法工程师掌握并行优化技术或者硬件加速技术是非常重要且难能可贵的。

在效率优化的同时，数据的精确性和完整性同样是需要保证的，其中精确性是产品关键的性能指标，在测量领域，测量精度至关重要，也是硬指标，我们至少应该保证精度在业内指标的附近波动，且保证足够的稳定性，即波动应该符合随机噪声的正态分布，且极差在一个可接受的范围内。

在实践中，精度所带来的困扰一般大于效率所带来的困扰，其中很大的原因是影响精度的因素非常多且复杂，标定、数据计算、相机质量、温度变化、材料稳定性都会对精度造成关键影响，我们除了需要在算法上竭尽全力，还需要在硬件上反复尝试，最后温度的变化给理论模型带来不可掌控的不确定性，迄今为止，世界上最好的测量设备，几乎都是需要预热使用，而面对测量过程中的温差变化，精度的波动同样是不可避免的，目前来说，温控的监测与补偿是一个普遍的解决方案，但也还需要更加完善。

2021年，我离开武汉中观，进入深圳的无人机制造公司DJI，从事无人机测绘的三维重建算法开发，也进入多视摄影测量方向。无人机三维重建，是无人机在一定高度按照规划航线，均匀间隔的拍摄大量地面图像，最后将图像传回地面站，运行三维重建算法得到带纹理的实景三维模型，这里面的主要技术，是基于图像的多视三维重建技术。

和双目重建有些许不同，多视三维重建的主要技术包括Structure From Motion、深度估计、网格构建、纹理映射等技术，算法是绝对核心和绝对竞争力。我们的目标便是做全球最快最好的重建软件，这个目标正在慢慢的被实现。

算法的实力同样包括数据的精确性、完整性以及数据生成的效率。我们需要在每一个模块采用最正确的算法，并采用大量的优化技术去提升算法的速度，而进一步的深刻感触是，我们被要求在每一个模块有着严谨科学的正确性验证，这被证明是至关重要且成为软件拥有绝对实力的关键因素。

在未来，我相信三维重建会具有更多的关注，得到更快的发展，深度学习将为三维重建注入新的力量，帮助该方向取得新的突破。新的技术也将会登上主流的舞台，将三维重建带入更广泛的消费层，开拓更为宽泛的大众化应用。

对三维重建，你有什么自己的想法呢？欢迎留言！