5.8Reformer 意境级理解

Posted 2021-06-07 炫云云

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了5.8Reformer 意境级理解相关的知识，希望对你有一定的参考价值。

文章目录

Transformer的问题

尽管transformer模型可以产生非常好的结果，被用于越来越多的长序列，例如11k大小的文本，许多这样的大型模型只能在大型工业计算平台上训练，在单个GPU上一步也跑不了，因为它们的内存需求太大了。例如，完整的GPT-2模型大约包含1.5B参数。最大配置的参数数量超过每层0.5B，而层数有64 层。

$图 1 ：标准 T r a n s f o r m e r 模型的简化图$

你可能会注意到在图中存在一些👓，有3种不同的颜色。这些独特的👓的代表了Transformer模型的一部分，Reformer作者发现了计算和内存问题的来源：

问题 1 (黑色 👓): 层数多

由于激活需要被存储并用于反向传播，有着 N 层的模型的大小比单层大了 N 倍；

问题 2 (绿色 👓): 前馈网络的深度

由于中间的全连接层的深度 $d_{ff}$ 通常远大于注意力激活层的深度 $d_{model}$ ，因此需要占用很大的内存；

问题 3 (红色👓): 注意力计算

在长度为 L 的序列上的 attention 的计算和时间复杂度是 $O(L^2)$ ，所以即使是一个有 64K 字符的序列就会耗尽 GPU 的内存。

Reformer模型解决了Transformer中上述三个内存消耗:

可逆层，在整个模型中启用单个副本，所以 N 因子就消失了；
在前馈层（feed-forward layer）分开激活和分块处理，消除 $d_{ff}$ 因子，节省前馈层的内存；
基于局部敏感哈希（LSH）的近似注意力计算，让注意力层的 $O(L^2)$ 因子替换为 $O (L)$ 因子，实现在长序列上的操作。

并对它们进行了改进，使Reformer模型能够处理最多100万单词的上下文窗口，所有这些都在单个GPU上，并且仅使用16GB内存。

1、局部敏感哈希(LSH) 注意力

注意力以及最近的邻居

在深度学习中，注意力是一种机制，它使网络能够根据上下文的不同部分与当前时间步长之间的相关性，将注意力集中在上下文的不同部分。transformer模型中存在三种注意机制：

$图 2 ：在 T r a n s f o r m e r 模型三种类型的注意力$
Transformer 中注意力计算是缩放的点积，为：
$\\operatorname{Attention}(Q, K, V)=\\operatorname{softmax}\\left(\\frac{Q K^{T}}{\\sqrt{d_{k}}}\\right) V\\tag{1}$

Q: $L$ Queries of size $d$ , to attend for
$K : L$ Keys of size $d$ , to attend to
$V : L$ Values of size $d$
$L :$ length of sequence
d: depth of attention

节约内存的关注：计算中可以发现，这种注意力机制带来的内存占用是很大的。假设 Q、K、V 都有[batch_size, length, $\\left.d_{\\text {model }}\\right]$ 这样的 shape。主要的问题就在于 $QK^T$ ，因为它的 shape 是 [batch size, length, length]。如果实验中序列的长度是 64k，在批大小为 1 的情况下，这就是一个 64K × 64K 的矩阵了，如果是 32 位浮点计算就需要 16GB 的内存。因此，序列越长，Transformer 性能就越受到影响。但是需要注意的是 $Q K^{T}$ 矩阵不需要在内存中完全具体化。实际上，每个查询 $q_{i}$ 都可以单独计算，只在内存中计算 $\\operatorname{softmax}\\left(\\frac{q_{i} K^{T}}{\\sqrt{d_{k}}}\\right) V$ 一次，然后在需要梯度的时候重新计算它。这种计算注意力的方式可能效率较低，但它只使用与长度成比例的内存。

Hashing attention:

$图 3 ： (左) ：点积注意力的主要计算， (右) t o k e n (“ i t ”) 对于序列 (“ t h e ” 、 “ a n i m a l ” 、 “ s t r e e t ” 、 “ i t ” 、 “ i t ”) 的注意力子集。$
对于LSH的关注，让 $\\mathrm{Q}=\\mathrm{K}$ 和 $\\mathrm{V}$ 的形状[batch_size, length, $\\left.d_{\\text {model }}\\right]$ .我们感兴趣的是 $\\operatorname{softmax}\\left({Q K^{T}}{}\\right)$ ，它是由最大的元素决定的。例如图3中的 $q_{i}$ 为it,它只需要注意最接近 $q_{i}$ 的键 $k$ 就可以了。例如，所以如果 $\\mathrm{K}$ 长度是64 $K$ ，对于每个 $q_{i}$ ，我们可以只考虑32或64个最近的键的一个小子集。因此，注意力机制查找query的最近邻居键，这样效率更高。这是不是让你想起了最近邻搜索？

LSH的最近邻搜索

LSH是一种著名的算法，它在高维数据集中以一种“高效”和“近似”的方式搜索“最近的邻居”。LSH背后的主要思想是选择hash函数，对于两个点p和q，如果q接近p，那么很有可能我们有hash(q) == hash( p) 。

做到这一点最简单的方法是用随机超平面不断的分割空间，并在每个点上加上sign(pᵀH)作为hash码。让我们来看一个例子：

$图 4 ：用于最近邻搜索的局部敏感哈希的简化动画$
一旦我们找到所需长度的哈希码，我们就根据它们的哈希码将这些点分成桶 —— 在上面的例子中，a 和b属于同一个桶，因为hash(a) == hash(b)。现在，查找每个点的最近邻居的搜索空间大大减少了，从整个数据集到它所属的桶中。

Angular LSH：普通LSH的一个变化，成为Angular LSH，使用不同的编码把点投影到单位球上预先定义好的区域里。然后一系列随机旋转的点定义了这些点所属的桶。让我们通过一个简单的2D例子来说明这一点，这个例子来自于Reformer的论文:

$图 5 ： A n g u l a r L S H 最近邻搜索的简化动画, 两个点在不同的桶$
这里我们有两个不是领近的点，它们投影到一个单位圆上，并随机旋转3次，角度不同。我们可以观察到，它们不太可能共享同一个hash桶。在下一个例子中，我们可以看到两个非常接近的点在3次随机循环后将共享相同的hash桶:

$图 6 ： A n g u l a r L S H 最近邻搜索的简化动画 : 两个点很近$
局部敏感哈希算法可以解决高维空间中快速寻找最近邻的问题。

将每个向量 $x$ 赋给一个哈希值 $h (x)$ 叫做局部敏感哈希，即领近的向量能以高概率映射到同一个哈希值，而比较远的向量能以高概率被映射到不同的哈希值。为了得到 $b$ 哈希值，我们首先固定一个大小为 $\\left[d_{k}， d_{b / 2}\\right]$ 的随机矩阵 $R$ 。然后定义 $h(x)=\\arg \\max ([x R;-x R])$