深度学习Transformer相关知识学习

Posted 超级无敌陈大佬的跟班

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深度学习Transformer相关知识学习相关的知识,希望对你有一定的参考价值。

CNN和Transformer的区别:

1)CNN卷积归纳偏置对于规模较小的数据集较为有用,但对于较大的数据集(千万级规模数据集)而言,Transformer学习相关模式就足够了,甚至更加有效;

2)CNN提取局部信息,Transformer提取全局信息

以一个目标检测网络为例,介绍Transformer的结构:

基于CNN的目标检测和Transformer的目标检测网络结构区别

 

 

检测流程

 

Transformer内部结构

 

Transformer内部结构2
匈牙利算法:匹配预测框和GT
精度:部分结构精度已经超过Faster RCNN

 

 

 

 

残差结构

 

 

以上是关于深度学习Transformer相关知识学习的主要内容,如果未能解决你的问题,请参考以下文章

[Python人工智能] 三十五.基于Transformer的商品评论情感分析 机器学习和深度学习的Baseline模型实现

深度学习入门基础二简单理解 Transformer

深度学习入门基础二简单理解 Transformer

深度学习+面经Transformer 网络学习笔记

深度学习+面经Transformer 网络学习笔记

深度学习 Transformer架构解析