0618 每日文献阅读 打卡

Posted 2021-06-18 Lf&x&my

Read Data: 0618	Publication: CVPR 2021
Title: Stand-Alone Self-Attention in Vision Models Participants: Prajit Ramachandran，Niki Parma，Ashish Vaswani，Irwan Bello Anselm Levskaya，Jonathon Shlens
Aim: 注意力成为视觉模型的一个独立原始元素，而不是仅仅作为卷积的一个补充。	Research Question: 基于内容的交互是否可以作为视觉模型的基本元素，而不是作为卷积的扩展。为此，我们开发了一个简单的局部自我关注层，可以用于大、小输入。
Method: 我们验证了自我注意确实可以成为一个有效的独立层。通过一个简单的步骤，将空间卷积的所有实例替换为一种应用于ResNet模型的自我注意形式，可以得到一个完全的自我注意模型。
Results: 模型在ImageNet分类上的性能比基线好，FLOPS减少了12%，参数减少了29%。在COCO目标检测中，一个纯粹的自注意力模型与标准方法网络的mAP匹配，同时具有39%的FLOPS和34%的参数减少。详细的消融实验研究表明，注意力在神经网络的后半部分尤其有效。这些结果表明，独立的自注意力是视野实践者工具箱的重要补充。			Discussion: 首先，可以通过开发更好的捕获几何图形的方法来改进注意机制。其次，通过对为卷积原语设计的模型进行简单变换，开发了用于图像分类和目标检测的体系结构。通过在设计搜索空间中把关注层作为一个组件来专门搜索体系结构，可以实现改进。最后，提出新的注意形式可以捕获低层次特征的额外工作可以使注意在网络的早期层有效。
Conclusion: 谷歌研究和谷歌大脑团队提出针对视觉任务的独立自注意力(stand-alone self-attention)层，用它创建的纯注意力(fully attentional)模型，在ImageNet分类任务和COCO目标检测任务中都超越了用卷积的基准模型，而且用了更少的浮点运算和更少的参数量。		Further: 虽然这项工作主要侧重于基于内容的交互，以确立其对视觉任务的优点，但在未来，我们希望将卷积和自我注意结合起来，最好地结合它们的独特优势。鉴于基于内容的交互在核心计算机视觉任务上的成功，我们希望未来的工作可以探索如何将注意力应用于其他视觉任务，如语义分割，实例分割，关键点检测，人体姿态估计和其他目前用卷积神经网络解决的任务。
Ref: 独立自注意力：之前的注意力机制是和卷积结合起来作为卷积的扩展来用的，而独立自注意力不依赖卷积层单独作为一层。