2020.11.21工作总结（RGB-T显著性检测ADFNet）

Posted 2020-12-21 dotaball

目录

• 工作总结
  • 一、论文阅读
    • 1.1RGBT Salient Object Detection: A Large-scale Dataset and Benchmark
      • 1.1.1简介
      • 1.1.2创新点
      • 1.1.3数据集介绍
      • 1.1.4ADFNet
        • 1.1.4.1卷积块注意力机制（CBAM）
        • 1.1.4.2多模态多层特征融合
        • 1.1.4.3金字塔池化
        • 1.1.4.4特征整合模块（FAM）
      • 1.1.5损失函数

工作总结

一、论文阅读

1.1RGBT Salient Object Detection: A Large-scale Dataset and Benchmark

1.1.1简介

??现在有很多基于RGB-D的显著性目标检测，但深度信息并不是一直有用的，当物体和镜头垂直的时候，同一个物体在在深度图上的差别很大。但T通道信息没有这些问题。同时之前的RGB-T数据集都很小，作者提出了VT5000数据集，包含有5000张标注好的RGB-T显著性检测图像。

1.1.2创新点

1）提出了VT5000数据集
2）提出了一个端到端的RGB-T显著性检测CNN，使用卷积块注意力模型(CBAM)来收集RGB和热红外特征。
3）SOTA

1.1.3数据集介绍

略

1.1.4ADFNet

网络骨干由一个双流VGG构成。分别提取RGB和T通道的特征。在融合这些特征前，利用一系列注意力模块来让网络更加关注有信息的区域。虽然高层语义信息能够促进显著性目标的定位，但中低层的特征也能够细化高层特征。因此利用两个辅助模块（金字塔池化模块和特征聚合模块）来精确定位，并细化细节信息。

1.1.4.1卷积块注意力机制（CBAM）

作者同时采用了空间注意力机制和通道注意力机制。在通道注意力机制中，与常规注意力机制利用全局平均池化来聚合空间信息不同的是，作者同时利用最大池化和平均池化，之后乘上系数将两个池化层相加来得到注意力权重。详情见图。
空间注意力相同，也是同时利用平均池化和最大池化，不同的是空间注意力机制将两个池化层concat到一起而不是相加。

1.1.4.2多模态多层特征融合

特征融合的策略是RGB和T在VGG中第一个block的输出直接相加，后续的block中，先将前一个block的输出经过卷积，再分别与该block的RGB和T输出的特征相加。

1.1.4.3金字塔池化

双流VGG最终提取到的特征都会进入到一个金字塔池化层（详见PSPNet），提取到四个不同大小的特征，这四个特征会在网络自上而下的支路中整合到一起。

1.1.4.4特征整合模块（FAM）

1.1.5损失函数

损失函数由两部分组成，一个是显著性检测的交叉熵损失Lc，一个是边界预测的交叉熵损失。至于边界的标签由拉普拉斯算子获得。