论文阅读:　VITAMIN-E: Extremely Dense Feature Points

Posted 2022-05-26 tweed

Abstract

propose了一种非直接法叫"VITAMIN-E": 准确而鲁邦, 跟踪的是稠密特征.

传统非直接法对于重建稠密几何有难度因为他们对于点的选择(为了匹配)很慎重.

和传统的方法不同, 这个方法处理了大量的特征点通过跟踪局部的曲度的极值通过dominant flow estimation.

因为这可能会导致大量的计算量, 我们用subspace Gauss-Newton method通过局部更新变量来提升BA的计算量表现.

我们同时也会对于重建出来的点生成mesh然后用一个entire 3D model来融合他们.

1. Introduction

直接法:他们不要求准确的像素匹配, 但是直接法对于噪声, 光照抖动, 镜头aberration不鲁邦.

非直接法: 最小化几何误差. 非直接法显示的建立特征点的匹配, 外点可以很容易的被RANSAC或者是M-estimatio移除.

这个特性也可以是一个缺点: 使得重建的3D图很稀疏,也不会提供几何细节. 一些稠密的方法比如PMVS或者是L-PMVS可以用,但是都是不实时的.

我们的方法tracking了很大数量的特征点.

Contributions:

1. 引入了一种新的dense feature point tracking algorithm基于dominant flow estimation和 curvature extrema tracing. 这使得VITAMIN-E可以处理大量的特征点
2. 引入了一种optimization technique: subspace Gauss-Newton method.
3. 根据特征点生成mesh, 然后用TSDF(truncated signed distance function)结合他们.

2. Dense Feature Point Tracking

2.1 Feature Point Tracking

用图像描述子的非直接法会不准因为不准确的特征点匹配.

光流法这种持续跟踪然后更新特征描述子的可能会有用, 但是如果跟的点开始有些及时是极少的漂移,那么多视图的跟踪结果就会不准确.

VITAMIN-E用了不同的方法, 它跟踪curvature的局部极值. 在我们的方法中, 特征点代表着图像intensities的curvature的极值.

让\(f(x, y)\)表示图像, 图像的curvature是\(\kappa\).
\[ \kappa=f_y^2 f_x x-2 f_x f_y f_x y+f_x^2 f_y y \]
VITAMIN-E通过在图像序列跟踪curvature $\kappa (x, y, t) $来建立点的匹配.

上图的(a)表示了这个过程的一个案例.

2.2 Dominant Flow Estimation

在检测了curvature的极值以后, 然后dominant flow(代表了optical flow的平均?), 它提懂了一个extrema tracking的一个很好的初值, 也使得起非常鲁邦.

然后我们决定在前后帧中的两点是不是匹配是用BRIEF的, 因为我们只需要判定粗略的特征点对, 特征匹配是在一个低精度的图上操作的, 一个1/6的图上.

然后我们拟合一个仿射变换\(y= Ax+b\), \(x\)和\(y\)表示特征点在之前帧和当前帧的位置. 然后\(A\)和\(b\)代表\(2\times2\)的矩阵和2维的translation.
\[ E=\sum_i^N \rho\left(\left\|\boldsymboly_i-\left(A \boldsymbolx_i+\boldsymbolb\right)\right\|_2\right) \]
用一个2d仿射model点在图像上的移动.

这里\(N\)是所有的匹配, 而\(\rho\)表示M-estimation的核函数.
\[ \rho(x)=\fracx^2x^2+\sigma^2 \]
注意VITAMIN-E不用传统的特征点匹配作为核心, 而是只是作先验信息.

2.3 Curvature Extrema Tracking

因为它是基于extrema而不是特征描述子, VITAMIN-E是对于由于噪声/光照变化有抗噪性的.

根据\(A\)和\(b\)的dominant flow, 我们先预测点\(x_t_0\)的当前位置\[\overline\boldsymbolx_t_1\]
\[ \overline\boldsymbolx_t_1=A \boldsymbolx_t_0+\boldsymbolb \]
然后, 预测\[\overline\boldsymbolx_t_1\]会被修正到\[\boldsymbolx_t_1\], 通过下述的方程:
\[ F=\kappa\left(\boldsymbolx_t_1, t_1\right)+\lambda w\left(\left\|\boldsymbolx_t_1-\overline\boldsymbolx_t_1\right\|_2\right) \]
这里\(\kappa\)代表每个像素的curvature, 然后\[w(x)=1-\rho(x)\]是一个evaluation function, 然后\(\lambda\)表示预测的权重.

maximization是用hill climbing method在邻近的8个像素取得的. \(w\)会防止这个过程会坠入另一个错误的extrema.

注意在录像里极值太多了, dominant flow的预测还是很给力.

3. Bundle Adjustment for Dense Tracking

3.1 Bundle Adjustment

\[ E=\sum_i^N \sum_j^M \rho\left(\left\|\boldsymbolu_i j-\phi\left(R_j^T\left(\boldsymbolp_i-\boldsymbolt_j\right)\right)\right\|_2\right) \]

这里\(N\)是特征点数，而\(M\)表示相机位姿数.

然后就是高斯牛顿:
\[ H \delta \boldsymbolx=-\boldsymbolg, \quad \boldsymbolx=\boldsymbolx+\delta \boldsymbolx \]
感觉schur complement要出现了:
\[ H=\left[\beginarrayccH_c c & H_c p \\ H_c p^T & H_p p\endarray\right], \quad \boldsymbolg=\left[\beginarrayl\boldsymbolg_c \\ \boldsymbolg_p\endarray\right] \]

\[ \beginaligned\left(H_c c-H_c p H_p p^-1 H_c p^T\right) \delta \boldsymbolx_c &=-\boldsymbolg_c+H_c p H_p p^-1 \boldsymbolg_p \\ H_p p \delta \boldsymbolx_p &=-\boldsymbolg_p-H_c p^T \delta \boldsymbolx_c \endaligned \]

在稠密的extrema跟踪中, \(H\)的size还是太大了.

3.2 Subspace Gauss-Newton Method

.. (回头再补, 目前不是太感兴趣)

4. Dense Reconstruction

有一大堆精准的3D点.

Meshing and Noise Removal: 首先把3D点投影到图像上,然后用Delaunay Triangulation来生成三角meshes. 然后我们用NLTGV最小化来移除mesh上的噪声. NLTGV最小化能够让meshes更加平滑, 然后保持局部的表面的结构. 不像其他的经典的mesh去噪算法, 比如laplacian smoothing.

Mesh Integration in TSDF

5. Experiment Results

我们用EuroC的左视图来测单目SLAM.

在VITAMIN-E中, 我们用P3P RANSAC 初始化相机, 然后三角化特征点. 这个过程都太快了, 所以我们对买一个帧都做, 而不是关键帧.

..

6. Conclusion

我们用了一个单目视觉SLAM方法重建了稠密的geometry.