Attention机制知识汇总

Posted 2023-05-04

参考技术A

图1形象化展示了人类在看到一副图像时是如何高效分配有限的注意力资源的，其中红色区域表明视觉系统更关注的目标。

深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，核心目标也是 从众多信息中选择出对当前任务目标更关键的信息 。

深度学习中常用的第一类注意力机制

具体数学形式表示如下：

注意力机制主要体现在 系数上，其反映对于一次查询当前资源中不同数据的重要程度，通过softmax等形式计算出该系数；实现聚焦重要数据，忽略不相关数据的注意力作用

理解：soft attention通过softmax获得注意力权重，之后进行加权计算，即计算注意力分布下的期望。hard attention则是利用注意力权重进行采样选取信息(根据权重大小做采样)。

Self-Attention结构如下

知乎-目前主流的Attention方法都有哪些：张俊林的回答
知乎-目前主流的Attention方法都有哪些：JayLou的回答
知乎专栏-模型汇总24 - 深度学习中Attention Mechanism详细介绍：原理、分类及应用
Attention机制详解（二）——Self-Attention与Transformer

Attention机制

ppt下载：
Attention机制ppt