Transformer-XL论文解读

Posted 2021-03-07 mj-selina

关于Transformer的具体内容，可以访问：https://www.cnblogs.com/mj-selina/p/12369797.html

简介
Transformer是Google Brain2017年提出的一种模型，它的编码能力超越了RNN，但是对于长距离依赖的建模能力依然不足。为解决长距离依赖问题，Google Brain提出了Transformer-XL模型（XL是extra long的意思），不仅能够获取长距离依赖，而且解决了文本碎片化的问题。Transformer-XL是基于vanilla Transformer进行创新的，它不仅能比vanilla Transformer处理4.5倍长的长距离依赖关系，而且在评估期间要比vanilla Transformers快1800倍。
注1：文本碎片化是vanilla Transformer中会遇到的问题，因为vanilla Transformer只能处理固定长度的序列，如果序列过长，会将其切割成两个或者多个序列，如果序列之间存在语义关系，而vanilla Transformer在编码的时候会丢失这种语义关系（在编码时，序列与序列之间不产生信息交换），产生文本碎片化问题。

Vanilla Transformer
VanillaTransformer输入固定长度的序列，如果输入序列比规定的长度长，则会将输入序列不考虑语义的切割成多个segment，如下图(a)所示。这种不考虑语义的切割方法，会导致文本碎片化问题，每个segment只能获取到自己的语义信息，而丢失之前segment的语义信息。
而在评估时，vanilla模型只会考虑同样长度的segment,一般它会取最后一个位置的隐向量作为输出。如下图(b)所示，在预测输出时，模型每次会向右移动一步，并根据新的segment片段预测此刻的单词。这种使用当前序列重新预测的方法，会导致计算量大增，预测速度较慢，且不能利用更早的信息。

Transformer-XL
1、片段级递归机制(segment-level recurrence mechanism)：在Transformer中引入了循环机制，在训练当前segment的时候，会保存并使用上一个segment每一层的输出向量。这样就可以利用之前segment的信息，提高Transformer长期依赖的能力，在训练时前一个segment的输出只参与前向计算，而不参与反向传播。

如上图所示，可以看出，在训练当前segment时，Transformer-XL会利用前一个segment的信息（图中绿色线段）。如果GPU内存允许，可以使用前多个segment的信息。
循环机制的另一个优点是测试速度快，它每次可以前进一个segment的距离，而不是像vanilla一样，一次只能前进一个表征。

2、相对位置编码(Relative Positional Encodings)：Transformer中使用一个序列的绝对位置计算positional encoding，再与单词的encoding相加即可。但是Transformer-XL中，将序列分成多个segment，每个segment都会存在相同位置的Embedding，positional encoding的位置信息就失去了意义。因此Transformer-XL提出了相对位置编码，在计算当前位置隐向量的时候，考虑其互相依赖的token的位置关系。具体做法是，在计算attention score的时候，只考虑query向量与key向量的相对位置关系，并将这种相对位置关系加入到每一层Transformer的attention的计算中，具体的计算法师如下：
（1）内容权重：没有添加原始位置编码的原始分数
（2）相对于当前内容的位置偏差：指从前一个seglment的第一个位置（假设index为0）到当前segment的当前word的位置（假设index为k），则位置偏差为k-t，并对位置偏差使用正弦函数进行位置向量计算
（3）可学习的全局内容偏差：该模型添加了一个可学习的向量，用于调整其他表征内容（Kj）的重要性
（4）可学习的全局偏差：另一个可学习向量，仅根据表征之间的距离调整重要性（例如，最后一个词可能比前一个segment中的词更重要）?
关于相对位置的具体计算方法，可以看[4]

参考资料：
[1] https://zhuanlan.zhihu.com/p/70745925
[2] https://www.infoq.cn/article/wt-KaTfcsAv9E7exzIkF
[3] https://zhuanlan.zhihu.com/p/84159401
[4] http://www.linzehui.me/2019/05/07/%E4%BB%A3%E7%A0%81%E7%9B%B8%E5%85%B3/%E5%85%B3%E4%BA%8Etransformer-xl%E4%B8%ADrel-shift%E5%AE%9E%E7%8E%B0%E7%9A%84%E8%A7%A3%E8%AF%BB/