TransformerAttention is all you need

Posted 2021-01-31 zhaopac

前言

Transfomer是一种encoder-decoder模型，在机器翻译领域主要就是通过encoder-decoder即seq2seq，将源语言(x1, x2 ... xn) 通过编码，再解码的方式映射成（y1, y2 ... ym), 之前的做法是用RNN进行encode-decoder,但是由于RNN在某一时间刻的输入是依赖于上一时间刻的输出，所以RNN不能并行处理，导致效率低效，而Transfomer就避开了RNN，因此encoder-decoder效率高。

Transformer

从一个高的角度来看Transformer，它就是将源语言 转换 成目标语言

打开Transformer单元，我们会发现有两个部分组成，分别是encoder和decoder

 

 

 

参考：

https://jalammar.github.io/illustrated-transformer/