AAAI2022Close the Loop: A Unified Bottom-Up and Top-Down Paradigm for Joint Image Deraining...译读笔记

Posted 2023-03-04 songyuc

Close the Loop: A Unified Bottom-Up and Top-Down Paradigm for Joint Image Deraining and Segmentation

摘要

本文关注于一个非常实际的问题：雨天条件下的图像分割。图像去雨是一个经典的low-level恢复任务，而图像分割是一个典型的high-level理解任务。大多数现有的方法直观地采用了自底向上的模式，将去噪作为后续分割的预处理步骤。然而，本文的统计分析表明，不仅去雨有利于分割（自下而上），而且分割也会进一步提高去雨的性能（自上而下）。这提示我们在可在一个全新的自下而上和自上而下的统一范式中解决雨天图像分割的任务，其中两个子任务交替进行并互相协作。具体而言，自下而上的过程会从图像域和特征域中产生更清晰的图像和抗雨干扰的特征，以减轻雨条纹引起的分割模糊。自顶向下的过程使用语义信息来自适应地引导不同内容地恢复，其中语义信息来自新颖地多路径分割注意力模块（Semantic Attentive Module, SAM）。因此，去雨和分割可以彼此协同地、逐步地提升性能。大量消融实验表明，所提出地方法在雨天图像分割方面优于现有方法。

引言

近些年来，图像去雨（Fu_et_al_2020_LPNet_Derain; Deng_et_al_2020_DRDNet_Derain）和图像分割（Zhang_et_al_2018_DenseASPP_Seg; Yang et al. 2018
）都取得了巨大进展。