一种超级简单的Self-Attention ——keras 实战

Posted 2023-02-24

参考技术A

Attention技术在 NLP 模型中几乎已经成了不可或缺的重要组成部分，最早Attention主要应用在机器翻译中起到了文本对齐的作用，比如下图，Attention 矩阵会将 法语的 La Syrie 和英语的 Syrie 对齐，Attention 机制极大的提升了机器翻译模型的性能。

尽管上文通过RNN 引出了Attention这个概念，但是它并不是只适用于RNN ，至于Attention机制比较广义的定义，我们可以参考Google 在2017年提出的 Attention is all your need ：Attention机制 包含 一个Query，一个Key和一个Value，其中Key和Value向量是一一对映得，如果是文本任务的话，意味着说Key 和 Value 表示的是同一句话（可能只是表示方式不同，通过了不同的参数进行特征变换）。然后 Query和Key通过某种运算得到 权重得分值 去选择 Value 中重要的特征去做任务。

其具体过程大致分为2个步骤：

至于而这个权重得分值如何计算得到，有下面几种方式，其中 可以理解成上文的Query , 可以理解成上文的Key：

而笔者今天实战的文本分类就是介绍是一种很简单的self-attention机制 ，如下图所示：将 RNN中每个时刻的输出 通过一个层感知机然后进行softmax激活得到权重得分值 ，再反过来将权重得分值 和 RNN中每个时刻的输出 进行加权求和，得到句子最终的特征表示。

这里笔者采用了两种不同的attention模式，

即最后权重得分是一个标量，将其特征词向量相乘 ， 对特征词向量每个维度进行同样的缩放操作 。

即最后 权重得分是一个向量 ，和特征词向量做element-wise的相乘， 对特征词向量每个维度进行不同的缩放操作 。

这里笔者提供了两种简单的attention，供大家做文本分类任务时使用，其主要目的还是希望模型在做任务时，将注意力集中在句子中比较关键的词上。通过一层简单的感知机，就可学习到每个词的重要性，是不是so easy,即插即用。