Transformer

Posted ying-chease

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Transformer相关的知识,希望对你有一定的参考价值。

参考资料:

【ERT大火却不懂Transformer?读这一篇就够了】

https://zhuanlan.zhihu.com/p/54356280 (中文版)

http://jalammar.github.io/illustrated-transformer/  (谷歌AI博客 英文版)

 

【NLP】Transformer详解

https://zhuanlan.zhihu.com/p/44121378

 

【关于Multi-Head和Positional Encoding】

http://blog.leanote.com/post/lincent/Attention-is-all-you-need%EF%BC%882%EF%BC%89%E5%85%B3%E4%BA%8EMulti-Head%E5%92%8CPositional-Encoding-2

 

【Universal Transformers详解】:https://zhuanlan.zhihu.com/p/44655133、https://www.leiphone.com/news/201808/1nhPCi9jWWNGv6aw.html

【图灵完备】:https://www.zhihu.com/question/20115374/answer/288346717

以上是关于Transformer的主要内容,如果未能解决你的问题,请参考以下文章

Transformer中的Self-Attention

xml已经指定了UTF-8编码格式仍然导出中文乱码

使用Java生成XML文件时,如何能让文件自动换行?