中大博士分析ICLR 2022投稿趋势：Transformer激增，ViT首进榜单前50，元学习大跌

Posted 2021-11-07 QbitAl

丰色 发自 凹非寺
量子位 报道 | 公众号 QbitAI

深度学习顶会ICLR 2022的投稿不久前已结束。

根据官网数据，本次一共收到了3407篇投稿，比去年多了400多篇。

此次投稿趋势又是如何？

中山大学的一位博士生为大家爬取了官方数据，做了一个简单分析。

从分析结果来看，投稿里霸占前三甲的关键词，分别为强化学习、深度学习和图神经网络。

但除了它们，本届ICLR中又有哪些关键词、技术较为突出呢？

下面详细看。

ICLR 2022投稿趋势

首先是按照论文关键字统计，出现频率最高的前50个keyword如下：

前四其实变化不大，依旧是强化学习、深度学习、图神经网络、表征学习。

变化较大的有：

对比学习 （contrastive learning），从去年的第15位前进到了第9。频率区间也从0-50前进到了50-75。

联邦学习，从去年的19位前进到了第7。

transformer，这可能是今年投稿增幅最明显的研究课题了。去年倒数（No.40），今年直接跃居第11位，离前10仅一步之遥。看来transformer是真的火爆。

而vision transformer则是今年新上榜(No.36)。

生成模型 （generative model）上升得也很急剧，48=>18。

其余变化也不小的还包括：

位居13位的计算机视觉，去年第24。
位居14位的持续学习 (continual learning)，去年第25。
位居17的机器学习，去年第27。
位居20的对抗训练 （adversarial training），去年31。
位居22的知识蒸馏（knowledge distillation），去年39，进步17位。
以及变化了14位的图像分类**， 42=>28。

另外，我们还捕捉到了也是才上榜的领域自适应（domain adaptation ），今年排到了27。

“有人欢喜有人忧”，今年元学习 （meta learning）掉的厉害，从去年的前十（No.6）已经跌到今年的21。

除此之外，还有NLP(16=>23)、少样本学习(13=>25)、深度强化学习(17=>26)以及GAN(30=>38)，这四位都下降了10名左右。

ps.与ICLR 2021投稿论文的对比数据来自下表(出自另一位GitHub用户):

△ ICLR 2021一共接受了2966篇投稿

前面说完了按关键字统计，下面是按标题，前50个常用标题关键字及其频率如下：

前10分别是：representation、reinforcement、graph、adversarial、training、data、transformer、optimization、efficient、image。

这个就不过多分析了，感兴趣的大家自己看看。

如何？整体趋势和大家的预期是否出入？

大概四个月的Open Review过后，ICLR 2022的入选结果就将于明年1月24日揭晓。

自己亲手试一试

最后，如果你也想自己亲自爬一爬，据GitHub上的介绍，可以这样做：

1、安装相应依赖

pip install wordcloud nltk pandas imageio selenium tqdm

2、下载用于语言处理NLTK包

import nltk
nltk.download('punkt')
nltk.download('averaged_perceptron_tagger')
nltk.download('wordnet')
nltk.download('stopwords')

3、抓取数据（运行项目里的crawl_paperlist.py）

抓取3000+论文大约花半小时。

如果你调用webdriver.Edge(‘msedgedriver.exe’) 遇到了问题，作者顺便也给了参考解决方法：

然后将结果可视化做成表和词云图即可。

参考链接：
https://github.com/EdisonLeeeee/ICLR2022-OpenReviewData