顶会论文如何rebuttal？说服评审和AC

Posted 2021-05-24 人工智能博士

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了顶会论文如何rebuttal？说服评审和AC相关的知识，希望对你有一定的参考价值。

点上方人工智能算法与Python大数据获取更多干货

在右上方 ··· 设为星标 ★，第一时间获取资源

仅做学术分享，如有侵权，联系删除

转载于：机器之心

优秀的 rebuttal 能绝地逢生，糟糕的 rebuttal 会过犹不及！

我们都知道，对于顶会投稿来说，rebuttal 是必不可少的一个阶段。通过 rebuttal，投稿人可以根据意见内容来更正审稿人理解上的错误、解释/澄清审稿人的疑惑，并提供更多方法和实验细节等内容。所以，如果论文本身足够硬核的话，审稿人在 rebuttal 之后会提高论文得分，则文章大概率会被接收。所以 rebuttal 对于论文是否接收来说有着举足轻重的作用。

之前，旷视南京研究院负责人魏秀参博士曾介绍了论文 rebuttal 那些事，为读者们提供全新的洞见。在本文中，佐治亚理工副教授兼 FAIR 研究科学家 Devi Parikh 和 Dhruv Batra，以及俄勒冈州立大学助理教授、担任 ICML 和 NeurIPS 2020 领域主席的 Stefan Lee 更详细地阐释了为何进行 rebuttal 以及审稿人和领域主席各自扮演什么角色，并根据自身经历为读者提供了 18 条实用的 rebuttal 小建议。

从左到右依次为 Devi Parikh、Dhruv Batra 和 Stefan Lee。

接下来先了解一下审稿人和领域主席（AC）在 rebuttal 中各自扮演的角色。

有的放矢，尽可能全面地准备 rebuttal 内容

一言以蔽之—「澄清」和「说服」是 rebuttal 的两大核心点。「科学」是一个十分严谨的过程，而「rebuttal」只是该过程中的一个环节。

MIT 电气工程与计算机科学系（EECS）教授、历任 ICCV 2005 和 CVPR 2013 程序委员会共同主席的 Bill Freeman 曾在 CVPR 2018 大会的一次演讲中谈到：通常情况下社区新成员会过于理想化同行的评审过程，他们普遍认为评审者们有很多时间，会被安排在一个安静的空间中，进而仔细审阅各类论文以及研究报告。

但现实情况远比想象的混乱，在评审过程中，不同的参与者都有不同的目标。同时，每个参与者都必须在有限的时间和注意力范围内评审论文，并且还需要承担多种责任。

因此，从这个角度出发，一方面要弄清楚 rebuttal 的目标对象是谁。

rebuttal 的目标对象有两个：

1. 审稿人，他们会不同程度地阅读论文，但可能记不起一些细节，或者打从一开始就不理解论文的核心主题；

2.AC 可能对研究工作并不太熟悉，在这种情况下，最优的「指导原则」是假设他们所读的只是评论和 rebuttal 论点。

另一方面我们要「看人下菜碟」，针对审稿人和 AC 准备相应的 rebuttal 内容：

1. 对于审稿人而言：尽最大可能澄清疑惑，回答问题，纠正可能产生的误解，避免过于明显的错误，并尽最大努力整合反馈意见改善现有的工作；

2. 对于 AC：提供有代表性的评论摘要，帮助他们了解审稿人提出的问题是否获得了解决，并呼吁进行 bad-faith 审核，帮助他们做出有效的决定。

根据以往的经验，学术界大多数的新成员都专注于（1），而忽略（2）。

最后，我们可以将「rebuttal」看作「辩论赛」。辩论赛中参赛者竭尽全力力图说服对手，在参加各类顶会时也是如此。虽然这个比喻并不完美，因为审稿人并不是我们的对手。但相同的是，我们都在尝试说服「辩论对手」或者「审稿人」以改变其想法。

四步走战略：稳扎稳打，轻松应对 rebuttal

逐句逐条地列出审稿人的评论以及意见，使用电子表格来整合每个审稿人提出的个人评论/问题/疑虑。将所有内容放在同一位置防止有任何遗漏的内容。尽快执行此操作，以便于意识到需要补充任何有必要的新实验（如果场所允许），也便于尽早进行分析；
头脑风暴：在总表上设一个专栏，供回复每个审稿人的评论。在此专栏里可以将自己的想法粗略地表达出来；
撰写「rebuttal」草案。将你在上述专栏中粗略的表达转化为 rebuttal 草案中的具体回应。注意简明扼要，同时覆盖每个要点，并在后续调整中进行删减/优先排序处理；
审查和修订。重读原始评论和你创建的反馈表，以确保所有对应的问题均已解决。当然，优先考虑主要问题，然后在合理空间内进行调整。

下图展示了一个原始回复示例：

18 条 rebuttal 小提示助你成功翻盘

关于 rebuttal，作者提供了以下 18 个他们认为有效的建议，大家可以参考借鉴。

提示 1：保持积极态度：进行审稿意见的总结，突出审稿人对论文的正面评价。rebuttal 内容则主要针对负面的评审反馈。

提示 2：确定优先级顺序，先解决评审中存在的最大问题，然后处理细枝末节的小问题。

提示 3：直接明了地回答审稿人提出的问题，紧扣问题的核心。回答的同时注意结合上下文，例如以下两则示例对话：

问：「这些是多次运行后反馈的平均值吗？」答：「没错，我们对 5 个随机原始值进行了平均。」
问：「训练期间是否使用了分割蒙版？」答：「没有，仅用于评估研究结果。」

提示 4：保持沟通状态，比如提示 3 的示例都是对话形式的。这可能会让 RAC 更容易接受，并且也不会显得那么「好斗」。

提示 5：回答问题的意图。不要纠结于问题本身，更要明白评论背后的意图。

例如，评审的问题是「为什么不在 GLORP3 上进行评估？」通常情况下可能会使您的研究实验受到部分质疑。你在回答时应指出自己已经对 X，Y 和 Z 进行了评估，这些就足够了。需要注意一点的是，提醒其他评审和 AC 进行广泛的实验评估是非常必要的。

提示 6：不要害怕去做一些强调。回答不仅要直截了当，还要有的放矢，突出重点。

提示 7：如果所有审稿人都忽略了你想表达的核心观点，那么你应该点拨一下帮助他们回顾一下。

提示 8：如果审稿人和 AC 不太记得你的论文，或者有可能他他们没有仔细阅读。你可以重新介绍一些关键词，并提醒他们有关实验的细节情况。

提示 9：如果审稿人问的内容在论文中已经呈现，那么以行/表格/图片的编号的形式反馈给他们，并在 rebuttal 中强调这一点。引用的主要目的是提醒审稿人和 AC 你的论文并不缺少重要细节。

提示 10：整合审稿人共同关注的问题。如果多个审稿人有共同关注的问题，可以一次性回复多个审稿人。

提示 11：让审稿人尽可能容易地发现与他们有关的回复。

提示 12：统计数据的说服力更强。相比于与审稿人和 AC 争论，提供给他们具体数据/统计资料更能支撑你的观点。

提示 13：说不如做。直接在 rebuttal 中解释一些词汇具体代表什么，然后再向论文中添加内容，这会让审稿人和 AC 相信你可以完善论文的细节。

提示 14：要善于接受意见同时保持理性。大多数审稿人和 AC 都欣赏这一点。同时，也要尝试他们建议的方法，看其是否有效，而不要争论其建议也可能无效。

提示 15：坦诚回应。审稿人可能提醒你再做一次实验，但如果真的无法完成，你可以直接回答「条件不允许」。总之，实话实说就行了。

提示 16：要特别关注不良审稿人。在一些情况下，审稿人可能没有坚持审阅的最佳实践或者没有认真对待自己审阅者的身份。这时确保其他审稿人意识到这点并适当地降低不良审稿人的审查比重是很重要的。指出不合理或缺乏根据的评论，并引用其他审稿人的反对意见都会有用。这也可以包括对领域主席提出保密请求（在适用情况下）。

提示 17：认可审稿人的努力。另一方面，如果审稿人有优化论文的想法或者其他建设性想法，要对此表示感谢。