光流算法：关于根据光流(单目)或视差(双目)进行图像变换的原理

Posted 2020-06-21

以光流为例。

 

设前一帧I相对于后一帧J的大致光流为(u,v)，为了得到更精确的光流值，我们通常是将J平移(-u,-v)得到warpJ。然后，计算I相对于warpJ的光流(du,dv)。从而，得到更精确的光流(u+du, v+dv)。这个过程可以不断重复，从而得到越来越精确的光流，此过程在光流的计算框架中称为外循环过程。

 

 

值得注意的是，外循环通常只执行一次，因为将J变换到warpJ非常耗时。于是我们将更精确光流的计算分配给了内循环过程。这里，我们暂且不讨论内循环过程。

 

那如何将J变换到warpJ？

 

J到warpJ的变换量是(-u, -v)，也就是说warpJ到J的变换量为(u,v)。那么，warpJ(x, y)处的灰度值应等于J(x+u, y+v)处的灰度值。所以，我们只需要将J(x+u, y+v)的灰度值求出来并赋给warpJ(x, y)即可。由于(x+u, y+v)通常是非整数坐标，所以需要插值来计算。