论文无法复现「真公开处刑」，PapersWithCode上线「论文复现报告」

Posted 2021-06-27 机器学习算法与Python学习-公众号

点击 机器学习算法与Python学习 ，选择加星标

精彩内容不迷路

机器之心报道

现在，越来越多的机器学习（ML）研究者选择在论文发表时同步公开自己的代码，像 arXiv 这样的论文预印本平台也选择与机器学习资源网站 Papers with Code 合作，支持研究者在 arXiv 页面上添加代码链接。ICML、ICLR、NeurIPS 等一些顶会也要求投稿人在提交论文的时候附上代码，以供审稿人测试，确保其研究结果的可复现性。

但这一切仍然不代表论文复现变得容易了。前段时间，Reddit 用户「ContributionSecure14」在花费长时间复现一篇论文失败后，产生了专门列出无法复现论文清单的想法。他创建了一个名为「Papers Without Code」的 ML 研究反馈平台，专门挂出那些大家都无法复现的论文研究。

如果提交内容有效，则 Papers Without Code 方面将与该论文原作者联系，并要求其澄清或公布实现细节。论文成功复现后，可以在 PapersWithCode 或 GitHub 上发布，供其他研究人员参考。如果作者未及时答复，该论文将被添加到「不可复现的机器学习论文列表」中，公开处刑。 

目前，该网站上挂出了 19 篇论文，详细列出了标题、链接、提交原因以及解决与否，可以看到有 8 篇论文显示「已被解决」。

但应看到，该网站创建数月以来，也仅仅提交了 19 篇论文，对于提升机器学习社区可复现方面远远不够。

近日，ML 领域著名的论文和代码资源网站 PapersWithCode 终于向「有代码也复现不了」这一老大难问题下手了，宣布其上线了新功能：论文可以链接到复现报告了！这是 ML 社区重视研究论文可复现性的新信号。

PapersWithCode：论文终于有复现报告了

PapersWithCode 以 ICML 2020 论文《Training Binary Neural Networks using the Bayesian Learning Rule》为例展示「论文复现报告」这项新功能。可以看到，PapersWithCode 在论文下方提供了复现报告，包括提交日期和报告摘要。

大家或者注意到了这份复现报告的提交者为「RC 2020」，这是 PapersWithCode 组织的一项 ML 顶会论文复现挑战赛。这项赛事的目的是鼓励可靠且可复现研究成果的发表和分享，ML 社区的成员可以选择顶会接收的论文来尝试复现。

所有的复现报告都将通过 OpenReview 进行同行评审，并显示在 PapersWithCode 网站原始论文的下方。在每年的复现挑战赛中，一批在「洞见性、正确性、逻辑清晰」等方面表现优秀的论文会发表在 ReScience C 期刊上。

与其他传统科学期刊截然不同，ReScience C 可以说是一个 GitHub 项目，提供了关于计算研究的每个新实现以及评审、解释和测试。PapersWithCode 的示例论文《Training Binary Neural Networks using the Bayesian Learning Rule》就发表在了该期刊上。目前，OpenReview 列出了所有在 RC 2020 挑战赛中被 ReScience C 接收的论文列表。

论文列表地址：https://openreview.net/group?id=ML_Reproducibility_Challenge/2020

用户现在可以在 PapersWithCode 和 ReScience 上查看所有 RC2020 挑战赛中的论文复现报告。

• PapersWithCode 复现报告地址：https://paperswithcode.com/conference/rc-2020

• ReScience 复现报告地址：http://rescience.github.io/read/#volume-7-2021

不过，目前提供复现报告的论文覆盖面还很小。PapersWithCode 的共同创建者 Robert Stojnic 表示：「目前只有经过 OpenReview 同行评审且被 ReScience 接收的论文才能提供复现报告。」

希望未来 PapersWithCode 可以提供其网站上所有提交论文的复现报告。

从顶会到个人，复现努力一直进行

可复现性是科学领域长期关注的话题，更是机器学习社区的重点关注问题。为了解决论文可复现难题，从顶会到个人一直都在努力。

NeurIPS 组委会从 2019 年起就鼓励论文作者提交代码（非强制），目前成效显著。在 NeurIPS 2019 的最后提交阶段，有 75% 的被接收论文附带了代码。随后，NeuIPS 将代码提交从「鼓励」变成了「强烈建议」（仍不强制），还提供了提交代码的准则和模板。

2020 年底，机器学习资源网站 Papers with Code 宣布与论文预印本平台 arXiv 进行合作，论文作者在 arXiv 上上传论文时可以同步上传官方和社区代码。

此外，AAAI Fellow、加拿大计算机科学家 Joelle Pineau 教授创建了「机器学习可复现性调查表」，这个清单为如何使其他研究人员清楚并重现机器学习论文的描述、代码和数据提供了明确的指导原则。

网站地址：https://www.cs.mcgill.ca/~jpineau/ReproducibilityChecklist.pdf

这些措施有助于解决论文可复现性问题，并进一步促进开放性科学研究的发展。

参考链接：https://paperswithcode.com/rc2020

如果对你有帮助。
请不吝点赞，点在看，谢谢