头疼脑热的一天

Posted 「已注销」

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了头疼脑热的一天相关的知识,希望对你有一定的参考价值。

说句实话,今天看了一天paper,也不知道看出来了个鬼。

一直想研究在Transformer架构上怎么能搞点trick出来。看了Switch Transformer,得到概念基本也就是那些。目前看来要是再去看的话,恐怕就只能看CV了。

一堆其他设计当然也可以尝试,最近居然还出现了一个Transformer-in-Transformer,不过似乎还是CV。

至于RL,基本上各种attention网上怼。我还是没太明白这里面的一些基本脉络。

以上是关于头疼脑热的一天的主要内容,如果未能解决你的问题,请参考以下文章

头疼脑热的一天

头疼脑热的一天

比较水的一天:看了两篇联邦学习的内容

比较水的一天:看了两篇联邦学习的内容

比较水的一天:看了两篇联邦学习的内容

第一天的学习