深度学习热度下降，图神经网络BERT崛起，ICLR 2020提交论文主题分析

Posted 2021-04-20 机器学习研究组订阅号

去年 11 月，Yoshua Bengio 宣布： ICLR 2020 将在埃塞俄比亚首都亚的斯亚贝巴（Addis Abeba）举行。 目前，本次大会的论文投稿工作已经结束，进行到盲审阶段。 为了总结社区的最新研究动向，Element AI 的研究科学家 Pau Rodríguez López 对本次投稿论文的关键词进行了统计分析，发现往年较热的「深度学习」、「GAN」等关键词热度有所下降，而图神经网络、BERT、Transformer 等成为新的热点方向。

正在接受盲审的论文列表：https://openreview.net/group?id=ICLR.cc/2020/Conference

Pau Rodríguez López 首先列出了 ICLR 2020 提交论文的绝对高频词：

由上图可知，与往年一样，「深度学习」、强化学习、GAN、表征学习等都是今年大会比较热门的话题。

但更加值得注意的是，部分研究方向在今年大会的被提及频率明显上升，如： 图神经网络、BERT、Transformer、NLP、自监督学习、鲁棒性、对抗鲁棒性等，其中，图神经网络已经跃升至关键词第七位。 相比之下，深度学习、GAN、优化、生成模型、无监督学习等关键词的热度则有所下降。

从其他来源的，我们也可以发现类似趋势：今年大热的「图神经网络」去年只能排到 20 名开外。

ICLR 2019 提交论文关键词统计（图源： https://github.com/shaohua0116/ICLR2019-OpenReviewData）。

在今年 5 月 ICLR 2019 大会结束后，毕业于斯坦福大学、现就职于英伟达的计算机科学家 Chip Huyen 曾总结了 ，包括 RNN 失宠、GAN 仍然势头强劲、强化学习仍然是提交论文中最热门的话题等。 至于今年的研究风向如何，还需要大会向我们揭开谜底。

想要了解更多资讯，请扫描下方二维码，关注机器学习研究会