CVPR发布禁令：盲评的论文不能在社交平台上讨论！LeCun：这政策简直疯了

Posted 2021-07-15 QbitAl

明敏 发自 凹非寺
量子位 报道 | 公众号 QbitAI

刚刚CVPR宣布，将正式禁止论文于审核期间放在社交平台上讨论。

这可让网友们炸开了锅，在Reddit上火速引起热议。

最令人关注的问题莫过于：

还能在arXiv上发布吗？

CVPR表示，只禁止在社交平台上讨论，仍旧可以在arXiv上发布论文。

这让许多人感到非常迷惑：

如果我在arXiv上发布了论文，然后其他人在社交平台上分享了我的论文，这算不算破坏规则呢？

这禁令的漏洞也太明显了吧，只要有人存心想钻空子，那岂不是轻而易举！

除此之外，禁止在社交媒体上讨论，会对论文的传播造成非常大的影响，这对于学术研究可不是件好事。

基于这些原因，有2位CV研究人员在禁令投票表决期就联名发帖表示反对。

他们认为，这条禁令的提出是为了解决双盲评审中的偏见现象。

但是禁止在社交平台上讨论，并不能从根本上解决这个问题啊！

看上去这项禁令会对有知名度的人造成影响，但可能真正受害的是那些没有背景和知名度的研究人员。

而且这个规则里有很多定义都不明确，也就存在很多漏洞，比如：

• 什么算社交媒体呢？现在有很多人会直播自己的代码课程，YouTube和Twitch算是社交媒体吗？

• 如果有其他人在社交媒体上提到了你的论文，你又进行了分享或转发，这算是违规吗？

• 如果论文被大V介绍，这算违规吗？

• 这项规定将如何执行呢？专门团队负责？如果发帖后又删帖，这怎么处理呢？

诸如此类，仅仅是他们两个人预想到可能会存在的问题。

他们的发声得到了Yann LeCun、Yannic Kilcher等人的支持。

LeCun直言：

限制交流会阻碍学术的进步，也违背了道德规范。CVPR的这项新政策简直是疯了。

那么这条禁令真的完全一无是处吗？

也不尽然。

有网友就生动地描述了双盲评审中，专家可能被宣传信息引导的现象。

“嘿！我是著名的研究人员X，我非常高兴能够在社交媒体上公开我的项目，该项目将Widget测量提高了 20%。它正在审查中，但因为它太酷了，而且我是我所在领域的巨头，我相信它会通过的。”

提交论文的审稿人：“嗯，这篇论文将Widget测量提高了 20%。这是否意味着我正在审阅著名的X论文？我确定他们是正确的，因为他们是该领域的巨头；因此没有必要仔细检查这个。”

也有人认为，CVPR提出这项禁令的初衷是好的，但是他们没有找到正确的解决办法。

我们真正关心的是评阅的专家！而不是讨论问题的大众。

在我看来这是一项好的政策，会有一定的改善效果；但另一方面，这也的确是个棘手的难题。

如果因为专家会受到影响，就禁止开展正常的学术讨论，这个规则未免也太“一刀切”了。

而且从实际效果来讲，很可能适得其反。

知名的实验室可能会钻空子，运用自己的影响力帮助同行相互宣传；而小实验室就只能干等评审了。

有人甚至表示：

相比于双盲评审，我更信任社交媒体上的评审（讨论）。

真的公平吗？

双盲评审机制是否真的公平，其实是个老生常谈的问题了。

此前，GAN的发明人Ian Goodfellow就曾炮轰同行评审机制，认为是这一制度导致了如今AI会议论文下降。

其中，“评审人员质量参差不齐”是主要原因，浮夸的论文被选中，真正的好论文反而被埋没。

而且在去年，也有类似的事情在Reddit上引发过讨论。

一位研究人员表示自己的论文在Twitter上被大V分享后，得到了许多人如潮水般的好评，但当时还在论文盲评期。

这在一定程度上破坏了双盲评审机制，并由此引发许多人对“社交媒体+arXiv”模式的不满。

这么看，CVPR似乎还很倾听大众的声音，对评审机制做出了相应的调整。

但是为什么还是有很多人不领情呢？

显然，大众对于双盲评审机制的讨论，出发点都是希望能得到更大的公平。

如果提出来一个新规则，还是破坏了一部分人的利益，这势必还是会引起不满。

因此，想要建立一个更完善的机制，不是靠“一刀切”的政策就能实现的，还需要做更多的优化、考虑更多方面。

此前有网友就提出“是否可以在arXiv匿名投稿”这种具体的解决办法。

对于如何让双盲评审更少偏见、更多公平，也还需要作出很多努力。

对此，你有什么看法呢？

欢迎评论区留言讨论~

参考链接：
[1]https://www.reddit.com/r/MachineLearning/comments/o9euga/d_cvpr_officially_bans_social_media_discussion/
[2]https://twitter.com/ylecun/status/1409393630310248452
[3]https://amytabb.com/ts/2021-06-16-cvpr-motion-position/
[4]https://www.reddit.com/r/MachineLearning/comments/hbzd5o/d_on_the_public_advertising_of_neurips/