动态场景运动分割

Posted 2021-01-19 zhuzhudong

一、依据不同属性分类运动分割算法

Camera motion first vs. Object motion first

Feature based vs. Dense motion based

2D vs. 3D

Rigid vs. Nonrigid

Single vs. Multiple

Occlusions or not

Depth dependency or not

Complex background or not

Dynamic texture or not

Shallow vs. Deep

Joint estimation and segmentation or not

Spatio-temporal or not

Camera model: affine, perspectivee, quadratic, or parabolic

Robust or not

Prior Knowledge or not

Training or not

 

二、运动分割算法通常包含三个主要部分：

（1）原始数据类型：

　　独立的pixel，线，角，块或区域。

（2）运动模型：

　　二维：平面运动/光流，三维：运动参数，旋转矩阵、平移向量等。

（3）分割标准：

　　霍夫变换、贝叶斯分割、MAP、EM等。

 

三、相机运动补偿

　　分为两种：相机运动估计（GME global motion estimation） 相机运动补偿（GMC global motion compensation）。

　　参数法，特征轨迹聚类方法，运动结构法，联合GME和离群点检测方法，相机运动分解法以及机器学习方法。

（1）参数法

　　六参数仿射模型，八参数透视模型，八参数二次模型和十二参数抛物线模型。

　　仿射模型以及透视模型是应用最广泛的。参数法又可以细分为：:基于特征的方法和基于密集运动场的方法。

　基于特征的方法：

　　首先需要提取和选择良好的特征点，所以需要鲁棒的特征提取以及追踪算法，在复杂的自然环境中很难实现。

　基于密集运动场的方法：

　　光流法，与预测模型一致的像素移动是由相机运动引起的，其他的则由物体运动引起。

（2）特征轨迹聚类方法

　　包括代数法，因式分解法，谱聚类法，迭代法，子空间分解法。

　　因为算法基于特征点，所以也需要鲁棒的特征提取以及追踪算法。特征轨迹聚类方法只输出稀疏关键特征点的分割，后续的处理需要得到密集分割。

　　基于特征的方法可以处理一部分相机运动的情况，但是对相机本身的焦距等有要求，现实很难满足要求。

（3）运动结构法

　　SFM：因为从2D恢复3D运动，条件也是比较严格的，要求视野中的物体运动是刚性的，或者只有相机在运动。

（4）联合GME和离群点检测方法

　　由于全局运动总是会受到视野中物体运动的影响，提出了一些联合全局运动估计与运动物体移除的算法。（不同的算法一般是在异常值检测策略上有所不同。）

（5）相机运动分解法

　　利用计算流体动力学算法Helmholtz-Hodge decomposition (HHD）将任意的光流场分解为旋度分量与散度分量。相机的径向运动（包括扩张与收缩）是非旋转性的，只存在于散度分量；而相机的旋转运动只存在于旋度分量，HHD将二维密度运动流场转换到三维势能面，并提出了基于四叉树的目标运动分割框架。