DLTransformer与LSTM的区别和联系
Posted songyuc
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了DLTransformer与LSTM的区别和联系相关的知识，希望对你有一定的参考价值。
1 区别
1.1 输入输出形式
对于Transformer，其编码器从作用上可以看作是大型MLP的变体，也就是说其输入是同时输入的，从输入形式上看与MLP十分相似；
LSTM的基本思想是时序模型，也就是说，在训练时输入是一个一个顺序输入的；
Espresso在《汉语自然语言处理-从零解读碾压循环神经网络的transformer模型(一)- 注意力机制-位置编码-attention is all you need》中讲到：
Transformer和LSTM的最大区别，就是LSTM的训练是迭代的，是一个接一个字的来,当前这个字过完LSTM单元,才可以进下一个字，而Transformer的训练是并行了,就是所有字是全部同时训练的，这样就大大加快了计算效率（并行性的优势）；
以上是关于DLTransformer与LSTM的区别和联系的主要内容，如果未能解决你的问题，请参考以下文章