文献阅读：Synthesizer: Rethinking Self-Attention in Transformer Models

Posted 2022-03-21 Espresso Macchiato

• 文献阅读：Synthesizer: Rethinking Self-Attention in Transformer Models
  • 1. 文章简介
  • 2. 核心方法
    • 1. Vanilla Self-Attention (V)
    • 2. Dense Synthesizer (D)
    • 3. Random Synthesizer （R)
    • 4. Factorized Model
      • 1. Factorized Dense Synthesizer (FD)
      • 2. Factorized Random Synthesizer (FR)
    • 5. Mixture of Synthesizer
  • 3. 实验考察
    • 1. 模型效果考察
      • 1. 翻译 & 语言模型
      • 2. 文本生成
      • 3. GLUE & SuperGlue
      • 4. 结论
    • 2. 模型性能考察
      • 1. 与Transformer以及CNN比较
      • 2. 与Linformer比较
      • 3. 结论
  • 4. 结论 & 思考

• 文献链接：https://arxiv.org/abs/2005.00743v2

1. 文章简介

前两天在看Google的Transformer Quality in Linear Time突然想起来这篇long long ago之前看过的transformer的变体，因此这里就回来考个古，顺便加深一下理解吧。

这篇文章同样是Google提出来的一个工作，不过是在20年了。某种程度上，确实还是非常的佩服Google的，因为考虑到近年来Transformer在NLP以及CV领域的各种猪突猛进，主流的工作感觉都是在Transformer的基础上进行工作迁移，结构优化以及各种细化研究，但是Google自己却总感觉对于Transformer本身不太满意，时不时就搞出一篇文章来想要从根本上推翻transformer的基础架构。

这篇Synthesizer就是其中之一，他的关注点在于Transformer自身的self-attention的权重计算部分，考察$Q$和$K$的点积计算attention权重的方式是否是真的必要的。如果直接给出一个与输入token无关的全局self-attention权重是否同样能够生效，感觉实在考察self-attention结构之所以有效的更为本质的原因。

结论而言，文章认为$Q$和$K$的点积计算attention权重的方式似乎效果并不是那么的重要，直接训练权重都能够获得不弱于sota的结果，甚至直接随机权重然后fix都能得到一些过去的结果……

不过要想要达到sota，似乎attention权重还是要和输入权重关联起来才能达到效果的最优。

Anyway，当时看这篇文章感觉还是很震惊的，不过两年过去了，感觉似乎这篇文章相关的结构也没有被大幅利用起来，整体来说还是vanilla的transformer占着主导的地位……

2. 核心方法

如前所述，这篇文章的核心就是针对self-attention的结构进行了细化研究，尝试优化掉了点积操作，从而可以考察self-attention权重的更本质的含义。

我们首先给出各个版本的self-attention结构图以及对应的参数量如下：

1. Vanilla Self-Attention (V)

对于最基础的self-attention结构，假设attention层的输入为$X\in {\mathbb{R}}^{l\ast d}$，则有：

$$\{\begin{array}{rl}Q& =W_Q\cdot X+b_Q\\ K& =W_K\cdot X+b_K\\ V& =W_V\cdot X+b_V\\ O& =softmax(\frac{W_Q\cdot W_k^T}{\sqrt{d}})\cdot V\end{array}$$

其中，$W_Q,W_K,W_V\in {\mathbb{R}}^{d\times d}$，所以，总的参数量级为$O(3d^2)$，Self-Attention部分的参数量级为$O(2d^2)$（$W_Q,W_K$）。

后续由于只调整self-attention的权重部分，因此，我们说的self-attention部分的参数量就仅指除了$V$之外的部分的参数量，即权重部分的参数量。

2. Dense Synthesizer (D)

Dense Synthesizer的核心思路是说使用FFN层来替换掉attention权重的生成过程，即：

$$\{\begin{array}{rl}B& =W_2({\sigma }_R(W_1\cdot X+b_1))+b_2\\ V& =W_V\cdot X+b_V\\ O& =softmax(B)\cdot V\end{array}$$

其中，$W_1\in {\mathbb{R}}^{d\times d}$，$W_2\in {\mathbb{R}}^{l\times d}$，因此，其参数量级为$O(d\times l+d^2)$。

3. Random Synthesizer （R)

Random Synthesizer的思路较之上述的Dense Synthesizer则更加暴力，我们直接给出一组与输入无关的权重矩阵，然后直接训练这组权重然后考察效果。

具体而言，即为：

$$\begin{array}{rl}V& =W_V\cdot X+b_V\\ O& =softmax(R)\cdot V\end{array}$$

其中，$R\in {\mathbb{R}}^{l\times l}$，对应的参数量极同样为$O(l^2)$。

4. Factorized Model

这里，我们注意到一点，这里，我们虽然减少了权重的计算，但是Self-Attention层的参数总量却从$O(2d^2)$增加到了KaTeX parse error: Undefined control sequence: \\tims at position 4: O(l\\̲t̲i̲m̲s̲ ̲d + d^2)（Dense Synthersizer）或者$O(l^2)$（Random Synthesizer）。

由于通常来说句长$l$是大于模型维度Rethink Technology预测看好VVC

5.19 Synthesizer attention

文献学习文献分类查询阅读及管理

文献学习文献分类查询阅读及管理

文献学习文献分类查询阅读及管理

DBA专栏丨文献阅读技巧：牛人博士如何看文献!