Transformer相关

Posted 冬于

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Transformer相关相关的知识,希望对你有一定的参考价值。

Transformer相关

Transformer采用经典的encoder-decoder框架,是一个基于self-attention来计算输入和输出表示的模型,现已被应用于计算机视觉、自然语言处理等领域,都有非常好的效果。
写了“Transformer相关”系列的博客,将尽可能覆盖Transformer触及的相关知识,一起手撕Transformer~
Transformer相关——(1)Encoder-Decoder框架
Transformer相关——(2)Seq2Seq模型
Transformer相关——(3)Attention机制
Transformer相关——(4)Poisition encoding
Transformer相关——(5)残差模块
Transformer相关——(6)Normalization方式
Transformer相关——(7)Mask机制
Transformer相关——(8)Transformer模型
Transformer相关——(9)训练Transformer
Transformer相关——(10)Transformer代码分析

以上是关于Transformer相关的主要内容,如果未能解决你的问题,请参考以下文章

深度学习Transformer相关知识学习

NLP面试 Transformer101问答

NLP面试 Transformer101问答

Transformer优化之稀疏注意力

Transformer优化之稀疏注意力

Transformer: Attention的集大成者