人工智能领域有哪些曾被拒稿的优秀工作？

Posted 2022-05-01 程序员对白

ICCV、CVPR等顶会产生了许多人工智能领域的优秀作品，这些作品很多也被运用于生活实践中，但也有一些优秀的研究工作最开始的时候被忽视或者不被认可。那么人工智能领域有哪些优秀的工作第一次是被拒稿的？被什么拒了？现在如何? 当初的拒稿理由又是什么？

01

回答一：作者-LinT

Hinton的知识蒸馏开山作品：Distilling the Knowledge in a Neural Network。

链接：https://arxiv.org/abs/1503.02531

当年被NIPS2014拒了：

https://twitter.com/OriolVinyalsML/status/1129420305246629899

（Oriol Vinyals是这篇文章的作者之一）

这篇论文非常好，我个人非常喜欢。简单的idea，启发了后续很多工作，算是开了一个新的方向。众所周知，现在提到神经网络模型压缩，一定是剪枝、量化、蒸馏三个方法了。可见这篇工作的意义。

拒稿原因嘛，我不清楚，知道的知友欢迎补充。

P.S. 其实好的工作被拒也是常有的事情，一些工作想法太超前，或是不符合会议评审的品味，或者一些更奇怪的原因，就被拒啦~Hinton之前也吐槽过(图片截取自讲习班视频：https://fcrc.acm.org/turing-lecture-at-fcrc-2019：

02

回答二：作者-信息学下门徒

量化算法dorefa-net，至今只是arxiv，但是结果很solid，简单有效，引用几百了吧。

03

回答三：作者-Alex Shi

说两篇比较冷门的吧，Cutout regularization，就是图片随机抹除一小块，在很多视觉领域基本上都可以涨点，但是两篇文章都没中，因为方法太简单了吧，现在两篇文章引用都是200+。

论文链接：https://arxiv.org/abs/1708.04896

论文链接：https://arxiv.org/abs/1708.04552

有意思的是两篇文章idea差不多，放出来时间间隔差了一天…

04

回答四：作者-Lyken

分享两个被拒过的最佳论文（Best Paper）

• DenseNet 最早投 ECCV，没有 ImageNet 实验而被拒，转投 CVPR 后拿下 Best Paper （现在 6000 引用）。

论文链接：https://arxiv.org/abs/1608.06993

• Lottery Ticket 最早投 NIPS，没有 ImageNet 实验而被拒，转投 ICLR 后拿下 Best Paper。

论文链接：https://arxiv.org/abs/1803.03635

建议，审稿的时候不要拿“实验不足”当作万能拒稿理由，万一日后 best paper 就尴尬了。

05

回答五：作者-郭沛

计算机视觉里有个SIFT特征，在深度学习之前独领风骚，但是原作者David Lowe 亲自承认原稿被CVPR 和 ICCV 拒了两次：

I did submit papers on earlier versions of SIFT to both ICCV and CVPR (around 1997/98) and both were rejected. I then added more of a systems flavor and the paper was published at ICCV 1999, but just as a poster. By then I had decided the computer vision community was not interested, so I applied for a patent and intended to promote it just for industrial applications.

Another recent example is Rob Fergus’s tiny images paper, which never did appear in a conference, but already has had a strong impact. I’m sure there are hundreds of other examples.

另一个例子来自Alan Yuille，他平庸的文章被收作Oral，在意的文章却被拒多次。他认为论文评审制度已经崩溃，因为每年提交到顶级会议的文章太多，reviewer都不够用了。这些会议鼓励渐进性的创新和短期的影响，甚至奖励表面上好看但存在严重内在缺陷的文章：

At present, my mediocre papers get accepted with oral presentations, while my interesting novel work gets rejected several times. By contrast, my journal reviewers are a lot slower but give much better comments and feedback. […]

I think the current system is breaking down badly due to the enormous number of papers submitted to these meetings (NIPS, ICML, CVPR, ICCV, ECCV) and the impossibility of getting papers reviewed properly. The system encourages the wrong type of papers and encourages attention on short term results and minor variations of existing methods. Even worse it rewards papers which look superficially good but which fail to survive the more serious reviewing done by good journals (there have been serious flaws in some of the recent prize-winning computer vision papers).

上面几个例子都是Yann Lecun 引用来说明ICLR 的open review重要性的。虽然没有证据表明ICLR 审稿质量比别的会好多少，但至少可以公开出来让人们看清楚现实。

06

回答六：作者-匿名用户

YOLOv1

被NIPS拒过。这里是作者挂出的NIPS review:

You Only Look Once: Unified, Real-Time Object Detection

链接：https://pjreddie.com/publications/yolo/

如果觉得有用，就请分享到朋友圈吧！

对白的算法屋

一位本科创业赚数百万的清华小哥哥，BAT算法工程师。日常分享AI前沿算法、创业心得和人生感悟。偶尔逗比，一直正能量！ 关键词：机器学习、深度学习、推荐系统、自然语言处理

关于我

你好，我是对白，清华计算机硕士毕业，现大厂算法工程师，拿过8家大厂算法岗SSP offer（含特殊计划），薪资40+W-80+W不等。

高中荣获全国数学和化学竞赛二等奖。

本科独立创业五年，两家公司创始人，拿过三百多万元融资(已到账)，项目入选南京321高层次创业人才引进计划。创业做过无人机、机器人和互联网教育，保研清华后退居股东。

我每周至少更新三篇原创，分享人工智能前沿算法、创业心得和人生感悟。我正在努力实现人生中的第二个小目标，上方关注后可以加我微信交流。

期待你的关注，我们一起悄悄拔尖，惊艳所有