深度学习已成正常操作，从ICLR提交的论文看机器学习的趋势和风口
Posted 大数据文摘
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了深度学习已成正常操作，从ICLR提交的论文看机器学习的趋势和风口相关的知识，希望对你有一定的参考价值。
大数据文摘出品
来源：deepsense
编译：武帅
2013年才举办第一届的ICLR（The International Conference on Learning Representations）发展迅猛，如今已成为是最重要的国际机器学习会议之一，甚至可以和ICML，NeurIPS和CVPR这些老牌著名会议相提并论。
2020年会议定于明年4月26日举行，但是论文提交截止日期已经过去了。这次会议共提交了2585份论文，比2019年多了约1000份论文。
今年提交论文：
https://openreview.net/group?id=ICLR.cc/2020/Conference
我们分析了过去三年里ICLR所有提交的论文的摘要和关键词，来看看哪些是新的风口，而哪些议题正在消逝。今年，28%的论文使用或声称使用了最新的算法，所以准备接受大量的机器学习知识扑面而来吧！
“深度学习”成为正常操作
在计算机视觉或自然语言处理中使用深度学习，如今就好像鱼在水中生活一样必要而且自然。深度学习彻底改变了机器学习，它现在几乎存在于机器学习的所有领域，甚至那些不太起眼的地方，比如在时间序列分析或需求预测也可以看到它的身影。
可以说深度学习已经不再是一个前沿话题，而成了机器学习的正常操作。这也解释了为什么在关键词中提及深度学习的数量有所减少——从2018年的19%下降到了2020年的11%。
网络架构的革命？
图神经网络（GNN，Graph Neural Networks）是这一年最热门的话题之一。GNN是用于图结构数据的深度学习架构。在医学、社交网络分类和动态交互对象行为建模等应用中，GNN展示了其巨大优势。关于GNN的论文数量的空前增长，从2018年的12篇发展到了2020年的111篇！
寂静的GAN
GAN是近些年最流行的话题，但是这个被称之为“近二十年来机器学习领域最酷的想法”似乎已经被利用殆尽。生成对抗网络（GAN，Generative Adversarial Networks）能够模拟任何数据分布，从而创造出令人印象深刻的全新人工图像，但是GAN的火热程度在下降。尽管最近由于deepfake等事件使得GAN一度在媒体报道中十分流行，但是从数据看它确实不如当年了。
让机器来设计你的机器学习？
为你的神经网络找到一个合适的架构实在是一件令人头秃的事。但是，不要害怕：神经体系结构搜索（NAS，Neural Architecture Search）来帮你。NAS是一个可以自动构建网络架构的方法。它已经被用于一些最新的算法中用于提升图像分类、对象识别或模型分割的效果。关于NAS的论文从2018年的仅仅5篇增长到2020年的47篇。
强化学习表现稳定
关于强化学习（RL，Reinforcement Learning）的论文占比基本保持不变。人们对这个话题的讨论热度不减——今年主要探讨了强化学习在自动驾驶汽车、AlphaStar在《星际争霸》上的成功以及机器人技术的进步上的应用。强化学习是机器学习的一个稳定分支，而且原因足够充分：人们相信RL会在未来大有可为。
关于强化学习的一篇干货指南：
下一个风口在哪里？
以上只是机器学习发展趋势的一个缩影。明年的风口会在哪里呢？这恐怕即使是最深度的神经网络也难以预测。但是人们对于机器学习的热情仍然是上涨的，这也倒逼着研究人员提出更具创造性的观点。有鉴于此，我们认为未来会有更多创造性的想法涌现出来，即使机器学习的趋势发生了180度的大转弯，也不必感到惊讶。
更完整的近三年论文研究趋势见下图：
链接：
实习/全职编辑记者招聘ing
以上是关于深度学习已成正常操作，从ICLR提交的论文看机器学习的趋势和风口的主要内容，如果未能解决你的问题，请参考以下文章
近期必读的五篇ICLR 2021图神经网络（GNN）相关论文和代码
图网络 | Graph Attention Networks | ICLR 2018 | 代码讲解