用ViT替代卷积网络做密集预测，英特尔实验室提出DPT架构，在线Demo可用

Posted 2022-01-17 Charmve

点击上方“迈微AI研习社”，选择“星标★”公众号

重磅干货，第一时间送达

选自丨机器之心

在这项研究中，研究者提出了 DPT 架构。这种 ViT 架构代替了卷积网络作为密集预测任务的主干网络，获得了更好的细粒度和更全局一致的预测。

图像语义分割的目标是将图像的每个像素所属类别进行标注。因为是预测图像中的每个像素，这个任务通常被称为密集预测。

当前，密集预测的架构几乎都是基于卷积网络的，且通常遵循一种模式：将网络分为一个编码器和一个解码器，编码器通常基于图像分类网络，也称为主干，它是在一个大型语料库 (如 ImageNet) 上进行预训练的；解码器聚合来自编码器的特征，并将其转换为最终的密集预测。以往的密集预测架构研究通常关注解码器及其聚合策略，但实际上主干架构的选择对整个模型来说非常关键，因为在编码器中丢失的信息不可能在解码器中恢复。

在英特尔的一项研究中，研究者提出了 DPT 架构（dense prediction transformer）。DPT 是一种用于密集预测的新架构，它仍然基于编码器 - 解码器的设计，但其中利用 transformer 作为编码器的基础计算构建块。

具体而言，研究者使用此前的视觉 transformer(ViT)作为主干架构，将由 ViT 提供的词袋表征重组为各种分辨率下的类图像特征表征，并使用卷积解码器逐步将这些特征表征组合到最终的密集预测中。