头疼脑热的一天
Posted 雷姆是我的
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了头疼脑热的一天相关的知识,希望对你有一定的参考价值。
说句实话,今天看了一天paper,也不知道看出来了个鬼。
一直想研究在Transformer架构上怎么能搞点trick出来。看了Switch Transformer,得到概念基本也就是那些。目前看来要是再去看的话,恐怕就只能看CV了。
一堆其他设计当然也可以尝试,最近居然还出现了一个Transformer-in-Transformer,不过似乎还是CV。
至于RL,基本上各种attention网上怼。我还是没太明白这里面的一些基本脉络。
以上是关于头疼脑热的一天的主要内容,如果未能解决你的问题,请参考以下文章