论文无法复现「真公开处刑」,PapersWithCode上线「论文复现报告」

Posted 机器学习算法与Python学习-公众号

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了论文无法复现「真公开处刑」,PapersWithCode上线「论文复现报告」相关的知识,希望对你有一定的参考价值。

点击 机器学习算法与Python学习选择加星标

精彩内容不迷路

机器之心报道

现在,越来越多的机器学习(ML)研究者选择在论文发表时同步公开自己的代码,像 arXiv 这样的论文预印本平台也选择与机器学习资源网站 Papers with Code 合作,支持研究者在 arXiv 页面上添加代码链接。ICML、ICLR、NeurIPS 等一些顶会也要求投稿人在提交论文的时候附上代码,以供审稿人测试,确保其研究结果的可复现性。

但这一切仍然不代表论文复现变得容易了。前段时间,Reddit 用户「ContributionSecure14」在花费长时间复现一篇论文失败后,产生了专门列出无法复现论文清单的想法。他创建了一个名为「Papers Without Code」的 ML 研究反馈平台,专门挂出那些大家都无法复现的论文研究。

如果提交内容有效,则 Papers Without Code 方面将与该论文原作者联系,并要求其澄清或公布实现细节。论文成功复现后,可以在 PapersWithCode 或 GitHub 上发布,供其他研究人员参考。如果作者未及时答复,该论文将被添加到「不可复现的机器学习论文列表」中,公开处刑。 

目前,该网站上挂出了 19 篇论文,详细列出了标题、链接、提交原因以及解决与否,可以看到有 8 篇论文显示「已被解决」。

但应看到,该网站创建数月以来,也仅仅提交了 19 篇论文,对于提升机器学习社区可复现方面远远不够。

近日,ML 领域著名的论文和代码资源网站 PapersWithCode 终于向「有代码也复现不了」这一老大难问题下手了,宣布其上线了新功能:论文可以链接到复现报告了!这是 ML 社区重视研究论文可复现性的新信号。

PapersWithCode:论文终于有复现报告了

PapersWithCode 以 ICML 2020 论文《Training Binary Neural Networks using the Bayesian Learning Rule》为例展示「论文复现报告」这项新功能。可以看到,PapersWithCode 在论文下方提供了复现报告,包括提交日期和报告摘要。

大家或者注意到了这份复现报告的提交者为「RC 2020」,这是 PapersWithCode 组织的一项 ML 顶会论文复现挑战赛。这项赛事的目的是鼓励可靠且可复现研究成果的发表和分享,ML 社区的成员可以选择顶会接收的论文来尝试复现。

所有的复现报告都将通过 OpenReview 进行同行评审,并显示在 PapersWithCode 网站原始论文的下方。在每年的复现挑战赛中,一批在「洞见性、正确性、逻辑清晰」等方面表现优秀的论文会发表在 ReScience C 期刊上。

与其他传统科学期刊截然不同,ReScience C 可以说是一个 GitHub 项目,提供了关于计算研究的每个新实现以及评审、解释和测试。PapersWithCode 的示例论文《Training Binary Neural Networks using the Bayesian Learning Rule》就发表在了该期刊上。目前,OpenReview 列出了所有在 RC 2020 挑战赛中被 ReScience C 接收的论文列表。

论文列表地址:https://openreview.net/group?id=ML_Reproducibility_Challenge/2020

用户现在可以在 PapersWithCode 和 ReScience 上查看所有 RC2020 挑战赛中的论文复现报告。

  • PapersWithCode 复现报告地址:https://paperswithcode.com/conference/rc-2020

  • ReScience 复现报告地址:http://rescience.github.io/read/#volume-7-2021

不过,目前提供复现报告的论文覆盖面还很小。PapersWithCode 的共同创建者 Robert Stojnic 表示:「目前只有经过 OpenReview 同行评审且被 ReScience 接收的论文才能提供复现报告。

希望未来 PapersWithCode 可以提供其网站上所有提交论文的复现报告。

从顶会到个人,复现努力一直进行

可复现性是科学领域长期关注的话题,更是机器学习社区的重点关注问题。为了解决论文可复现难题,从顶会到个人一直都在努力。

NeurIPS 组委会从 2019 年起就鼓励论文作者提交代码(非强制),目前成效显著。在 NeurIPS 2019 的最后提交阶段,有 75% 的被接收论文附带了代码。随后,NeuIPS 将代码提交从「鼓励」变成了「强烈建议」(仍不强制),还提供了提交代码的准则和模板。

2020 年底,机器学习资源网站 Papers with Code 宣布与论文预印本平台 arXiv 进行合作,论文作者在 arXiv 上上传论文时可以同步上传官方和社区代码

此外,AAAI Fellow、加拿大计算机科学家 Joelle Pineau 教授创建了「机器学习可复现性调查表」,这个清单为如何使其他研究人员清楚并重现机器学习论文的描述、代码和数据提供了明确的指导原则。

网站地址:https://www.cs.mcgill.ca/~jpineau/ReproducibilityChecklist.pdf

这些措施有助于解决论文可复现性问题,并进一步促进开放性科学研究的发展。

参考链接:https://paperswithcode.com/rc2020


如果对你有帮助。
请不吝点赞,点在看,谢谢

以上是关于论文无法复现「真公开处刑」,PapersWithCode上线「论文复现报告」的主要内容,如果未能解决你的问题,请参考以下文章

BUUCTF V&N2020 公开赛 Misc(复现)

数十篇推荐系统论文被批无法复现:源码数据集均缺失,性能难达预期

关于算法开源乱七八糟事

论文复现使用PaddleDetection复现OrientedRepPoints的复现笔记

全网良心论文复现!Centos 7.9 复现MAPPO出现的问题汇总收藏干货

MatchNet论文复现过程记录