Transformer入门篇-深度万字长文带你轻松入门深度学习框架
Posted 文宇肃然
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Transformer入门篇-深度万字长文带你轻松入门深度学习框架相关的知识，希望对你有一定的参考价值。
前言
transformer结构是google在17年的Attention Is All You Need论文中提出，在NLP的多个任务上取得了非常好的效果，可以说目前NLP发展都离不开transformer。最大特点是抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。由于其出色性能以及对下游任务的友好性或者说下游任务仅仅微调即可得到不错效果，在计算机视觉领域不断有人尝试将transformer引入，近期也出现了一些效果不错的尝试，典型的如目标检测领域的detr和可变形detr，分类领域的vision transformer等等。本文从transformer结构出发，结合视觉中的transformer成果(具体是vision transformer和detr)进行分析，希望能够帮助cv领域想了解transformer的初学者快速入门。由于本人接触transformer时间也不长，也算初学者，故如果有描述或者理解错误的地方欢迎指正。
以下是我为大家准备的几个精品专栏，喜欢的小伙伴可自行订阅，你的支持就是我不断更新的动力哟！
本文的大部分图来自论
以上是关于Transformer入门篇-深度万字长文带你轻松入门深度学习框架的主要内容，如果未能解决你的问题，请参考以下文章
预训练模型需要知道的知识点总结，万字长文带你深入学习（建议收藏）
Linux疑难杂症解决方案100篇（二十）-万字长文带你读懂正则表达式（建议收藏）
Linux疑难杂症解决方案100篇（十五）-万字长文带你深入Linux 内核学习：环境搭建和内核编译