读后：DeFMO: Deblurring and Shape Recovery of Fast Moving Objects (CVPR 2021)

Posted 2021-06-18 千面鬼手大人

fast moving objects (FMOs)

FMOs are defined as objects that move over a distance larger than their size within the camera exposure time (or within a single time frame in video).
FMO 被定义为在相机曝光时间内（或在视频中的单个时间帧内）移动距离大于其尺寸的对象。

在自动驾驶中检测石头、鸟类或其他野生动物的影响也有好处。在捕获掉落或抛出的物体（如水果、树叶、飞虫、冰雹或雨）时，经常会发现 FMO。在弱光条件下或长时间曝光时，任何移动的物体都会成为 FMO。

提出了 DeFMO——第一个通过处理在 3D 旋转的 3D 轨迹上移动的快速移动物体随时间变化的复杂外观来超越这些假设的方法。

DeFMO 是一种生成模型，可重建 FMO 的清晰轮廓和外观。

1）首先，我们将模糊的快速移动物体从背景中解开到潜在空间中。

2）然后，渲染网络的目标是在一系列子帧中渲染清晰的对象，及时捕捉运动。该网络在具有复杂、高度纹理化对象的合成数据集上进行端到端训练。

3）由于受 FMO 图像形成模型启发的自监督损失函数项，我们的方法很容易推广到现实世界的数据，如图 1 所示。 DeFMO 可以应用于许多领域，例如视频时间超分辨率，数据压缩、监视、天文学和显微镜学。总的来说，本文做出了以下贡献：

• 我们展示了第一个用于 FMO 去模糊的全神经网络模型，它弥合了 FMO 去模糊、3D 建模和子帧跟踪之间的差距。

• 仅对具有新型自我监督损失的合成数据进行训练，在 FMO 的轨迹和清晰外观重建方面树立了新的艺术状态。

• 我们引入了一个具有复杂对象、纹理和背景的新合成数据集。数据集和模型实现是公开的。