《MonoRec：Semi-Supervised Dense Reconstruction in Dynamic Environments from a Single Moving Camera》

Posted 2022-02-09 m_buddy

参考代码：MonoRec

1. 概述

介绍：这篇提出了一种纯视觉的自监督深度估计算法，它结合现有实例分割、视觉里程计等视觉相关领域中相关技术，构造出这篇提出的MonoRec单目深度估计方法（在做训练的时候也采用了双目的图像作为输入）。在自监督单目深度估计网络中，一个很大的困难便是需要区分哪些像素相对相机参考系是存在运用的，这是文章引入实例分割方法得到的mask去引导并构建MaskModule去解决存在“运动”的目标。对于深度估计部分，这里是使用”运动“目标mask和由输入图片构建的cost volume去预测对应的深度结果，相比MonoDepth系列少了pose预测部分（pose参数是通过加载数据集实现的）。此外，对于上述的mask和depth两个任务训练，文章的方法比较繁琐了（为多阶段训练策略），首先需要分别完成mask和depth的bootstrapping训练，之后再在depth和mask网络预训练基础上对应网络的进一步优化工作。

这篇文章主要工作体现在使用一个MaskModule去预测“运动”目标，从而避免这类目标在深度估计结果中存在的”空洞”问题，并使用视觉里程计方法产生的稀疏深度监督点进行深度估计约束，从而构建了一个对摄像头视野中“运动”比较鲁棒的自监督深度估计方法。只不过这里是使用Mask RCNN去完成可能存在“运动”的目标，但是在自然条件下该方法也是有较大限制的，毕竟可运动的物体太多了，而且还在训练的过程中假设了pose是已知的。整体上来讲文章方法在KITTI数据及上深度估计表现的结果还是不错的，如下图所示 ：

2. 方法设计

2.1 整体pipeline

文章的整体pipeline见下图所示：

从上图可知输入的视频序列会在先期深度假设条件下生成Cost Volume $C(d)$，之后送入MaskModule得到“运动”物体的mask结果$M_t$，最后结合之前的输出得到最后的深度估计结果$D_t$。对于输入的单目视频序列$I_1,\dots ,I_N$（一般$N=3$），扣留关键帧$t$之后的额外帧为$I_{t^{{}^{\prime }}}(t^{{}^{\prime }}\in 1,\dots ,N/t)$。则在上述给定深度估计结果和pose参数（$T_{t^{{}^{\prime }}}^t$）的情况下可以实现帧间映射：
$$I_{t^{{}^{\prime }}}^t=I_{t^{{}^{\prime }}}⟨proj(D_t,T_{t^{{}^{\prime }}}^t)⟩$$
此外，在文章算法的训练过程中除了单目的时序序列$T$（temporal frames）之外还是用了双目视觉中的另外一个视角图像$S$（static stereo），从而引入更多信息以帮助生成更好的深度估计结果。

2.2 子模块

2.2.1 Cost Volume构建

在构建Cost Volume过程中是将帧$I_{t^{{}^{\prime }}}$在不同深度参数$d$（该参数通过最小最大深度进行线性划分确定）投影到关键帧$I_t$下构建的，这里对于Cost Volume在不同深度参数下的重构度量表示为：
$$pe(x,d)=\frac{1-SSIM(I_{t^{{}^{\prime }}}(x,d),I_t(x))}{2}$$
其中，$x$是对应的像素表示。那么Cost Volume在该基础上被描述为：
$$C(x,d)=1-\frac{2}{{\sum }_{t^{{}^{\prime }}}{w}_{t^{{}^{\prime }}}}\cdot \sum p{e}_{t^{{}^{\prime }}}^t(x,d)\cdot w_{t^{{}^{\prime }}}(x)$$
注意在上式子中存在一个加权因子$w_{t^{{}^{\prime }}}(x)$，其是通过与最小重构误差的差值建立关系的：
$$w_{t^{{}^{\prime }}}(x)=1-\frac{1}{M-1}\cdot \sum _{d\ne d^{\ast }}exp(-\alpha (p{e}_{t^{{}^{\prime }}}^t(x,d)-p{e}_{t^{{}^{\prime }}}^t(x,d^{\ast }){)}^2)$$
其中，需要求取重构误差最小对应的深度：$d_{t^{{}^{\prime }}}^{\ast }=\underset{d}{\mathrm{argmin}}p{e}_{t^{{}^{\prime }}}^t(x,d)$。对应的实现可以参考代码：

# model/monorec/monorec_model.py#L132
class CostVolumeModule(nn<
以上是关于《MonoRec：Semi-Supervised Dense Reconstruction in Dynamic Environments from a Single Moving Camera》的主要内容，如果未能解决你的问题，请参考以下文章
 
 Semi-Supervised Learning---半监督学习
 使用聚类算法进行标签传播学习（Clustering for Semi-Supervised Learning）
 Graph-based Semi-Supervised Classification简单总结回顾
 论文笔记之：Large Scale Distributed Semi-Supervised Learning Using Streaming Approximation
 Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning
 论文笔记：SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS