深度学习已成正常操作,从ICLR提交的论文看机器学习的趋势和风口
Posted 大数据文摘
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深度学习已成正常操作,从ICLR提交的论文看机器学习的趋势和风口相关的知识,希望对你有一定的参考价值。
大数据文摘出品
来源:deepsense
编译:武帅
2013年才举办第一届的ICLR(The International Conference on Learning Representations)发展迅猛,如今已成为是最重要的国际机器学习会议之一,甚至可以和ICML,NeurIPS和CVPR这些老牌著名会议相提并论。
2020年会议定于明年4月26日举行,但是论文提交截止日期已经过去了。这次会议共提交了2585份论文,比2019年多了约1000份论文。
今年提交论文:
https://openreview.net/group?id=ICLR.cc/2020/Conference
我们分析了过去三年里ICLR所有提交的论文的摘要和关键词,来看看哪些是新的风口,而哪些议题正在消逝。今年,28%的论文使用或声称使用了最新的算法,所以准备接受大量的机器学习知识扑面而来吧!
“深度学习”成为正常操作
在计算机视觉或自然语言处理中使用深度学习,如今就好像鱼在水中生活一样必要而且自然。深度学习彻底改变了机器学习,它现在几乎存在于机器学习的所有领域,甚至那些不太起眼的地方,比如在时间序列分析或需求预测也可以看到它的身影。
可以说深度学习已经不再是一个前沿话题,而成了机器学习的正常操作。这也解释了为什么在关键词中提及深度学习的数量有所减少——从2018年的19%下降到了2020年的11%。
网络架构的革命?
图神经网络(GNN,Graph Neural Networks)是这一年最热门的话题之一。GNN是用于图结构数据的深度学习架构。在医学、社交网络分类和动态交互对象行为建模等应用中,GNN展示了其巨大优势。关于GNN的论文数量的空前增长,从2018年的12篇发展到了2020年的111篇!
寂静的GAN
GAN是近些年最流行的话题,但是这个被称之为“近二十年来机器学习领域最酷的想法”似乎已经被利用殆尽。生成对抗网络(GAN,Generative Adversarial Networks)能够模拟任何数据分布,从而创造出令人印象深刻的全新人工图像,但是GAN的火热程度在下降。尽管最近由于deepfake等事件使得GAN一度在媒体报道中十分流行,但是从数据看它确实不如当年了。
让机器来设计你的机器学习?
为你的神经网络找到一个合适的架构实在是一件令人头秃的事。但是,不要害怕:神经体系结构搜索(NAS,Neural Architecture Search)来帮你。NAS是一个可以自动构建网络架构的方法。它已经被用于一些最新的算法中用于提升图像分类、对象识别或模型分割的效果。关于NAS的论文从2018年的仅仅5篇增长到2020年的47篇。
强化学习表现稳定
关于强化学习(RL,Reinforcement Learning)的论文占比基本保持不变。人们对这个话题的讨论热度不减——今年主要探讨了强化学习在自动驾驶汽车、AlphaStar在《星际争霸》上的成功以及机器人技术的进步上的应用。强化学习是机器学习的一个稳定分支,而且原因足够充分:人们相信RL会在未来大有可为。
关于强化学习的一篇干货指南:
下一个风口在哪里?
以上只是机器学习发展趋势的一个缩影。明年的风口会在哪里呢?这恐怕即使是最深度的神经网络也难以预测。但是人们对于机器学习的热情仍然是上涨的,这也倒逼着研究人员提出更具创造性的观点。有鉴于此,我们认为未来会有更多创造性的想法涌现出来,即使机器学习的趋势发生了180度的大转弯,也不必感到惊讶。
更完整的近三年论文研究趋势见下图:
链接:
实习/全职编辑记者招聘ing
以上是关于深度学习已成正常操作,从ICLR提交的论文看机器学习的趋势和风口的主要内容,如果未能解决你的问题,请参考以下文章
近期必读的五篇ICLR 2021图神经网络(GNN)相关论文和代码
图网络 | Graph Attention Networks | ICLR 2018 | 代码讲解