计算机视觉中的注意力机制的学习笔记

Posted 2021-12-04 songyuc

1 介绍

关于注意力机制（Attension）的综述请参考博文《综述｜计算机视觉中的注意力机制》
关于Attention机制，我总觉得是一个很有趣的话题，因为根据“万能拟合器”理论，似乎应该是不会需要使用Attension机制来调整权重的；

2 神经网络是否需要Attention？

根据学术来看，Attention机制是十分有必要，尤其是Transformer的成功证明了这一点；
Attention从本质上来说，就是一种信息的加权机制，其实对于CNN来说，参数系数本身来说就是一种权重，所以可以分为：Hidden-Attention（隐式注意力）和Explicit-Attention（显式注意力）。