[图像拼接]APAP算法及相关问题研究

Posted 2022-12-04 zizi7

目录

• APAP算法思路
• 几个问题
• • SVD在最小二乘中的应用
  • DLT求单应性矩阵H
  • Moving DLT求局部单应性矩阵
  • 实现的小细节
• 文献

---

图像拼接首先通过一些手段（标定、SIFT等特征点、其他传感器等）获取图像间的对应关系（2D-2D）。

这个对应关系可以用单应性矩阵$H$（也称透视变换）描述
$$\begin{array}{rl}\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ w^{\prime }\end{array}\right]=& \left[\begin{array}{ccc}{h}_{00}& h_{01}& h_{02}\\ h_{10}& h_{11}& h_{12}\\ h_{20}& h_{21}& h_{22}\end{array}\right]\left[\begin{array}{c}x\\ y\\ w\end{array}\right]\\ =& H\left[\begin{array}{c}x\\ y\\ w\end{array}\right]\end{array}\text{\hspace{1em}(1)}$$

但上述思路的前提是：待拼接的目标处于或者近似处于同一平面。否则就会产生遮挡和角度差异，从而造成拼接图的“虚影”

                                                 图1. 由于相机角度差异造成的虚影现象（红圈）

针对上述问题，Autostitch（OpenCV实现的方法）和Photosynth等方法走的是一个全局H + 虚影后处理的路线；
APAP【1】算法则使用多个局部H的方式尝试在拼接时就尽可能精确。

---

APAP算法思路

APAP算法官方主页提供了matlab的源码
Github上有第三方实现的C++代码

算法以A图为基准，首先计算B图到A图的全局变换$H$（DLT方法）,
然后将B图等间距划分小网格，逐个计算B图每个小网格与A图的局部变换$H_{\ast }$（Moving DLT方法）,
最后将B图每个网格内的点按对应的$H_{\ast }$做局部变换，与A图融合。

                                                        图2. 网格局部变换（摘自APAP论文）

---

几个问题

SVD在最小二乘中的应用

参考博文《SVD之最小二乘【推导与证明】》

- 模型$Ax=b$的求解
令$A$尺寸为$m\times n$，且$m>n$（超定问题）
则优化目标为$min||Ax-b||$

首先对$A$做SVD分解，有
$$A=U\Sigma V^T\text{\hspace{1em}(2)}$$
其中$U$和$V$分别称为$A$的左、右奇异向量，满足正交性（即$U^T=U^{-1}$）
$\Sigma$为对角阵，对角元素是$A$的奇异值

将式(2)代入目标函数，有
$$\begin{array}{rl}& min||Ax-b||\\ & \to min||U\Sigma V^{T}x-b||\\ & \to min||\Sigma V^{T}x-U^{T}b||(正交性)\\ & \to min||\Sigma y-b^{\prime }||(令y=V^{T}x,b^{\prime }=U^{T}b)\end{array}\text{\hspace{1em}(3)}$$
注意到$\Sigma$是一个对角阵，令${\lambda }_i$为其对角线元素，则有
$$\begin{gathered} y_i=\frac{b_i^{\prime }}{{\lambda }_i} \\ x=Vy\text{\hspace{1em}(4)} \end{gathered}$$

- 模型$Ax=0$的求解
令$A$尺寸为$m\times n$，且$m>n$；$||x||=1$
则优化目标为 m i n ∣ ∣ A x