论文泛读150面试官 - 候选人角色扮演：走向开发真实世界的 NLP 系统

Posted 2021-07-17 及时行樂_

贴一下汇总贴：论文阅读记录

论文链接：《Interviewer-Candidate Role Play: Towards Developing Real-World NLP Systems》

一、摘要

标准的 NLP 任务不包含几个常见的现实世界场景，例如寻求问题的澄清、利用线索、为了避免错误答案而弃权等。 任务制定的这种差异阻碍了 NLP 系统在现实世界中的采用设置。在这项工作中，我们朝着弥合这一差距迈出了一步，并提出了一个多阶段任务，模拟典型的人-人提问者-回答者互动，例如面试。具体来说，系统在不同阶段提供问题简化、知识陈述、示例等，以在不够自信时改进其预测。我们在自然语言推理设置中实例化提议的任务，其中系统在域内和域外 (OOD) 输入上进行评估。我们进行了全面的实验，发现我们的任务的多阶段公式导致 OOD 泛化性能在第一阶段提高了 2.29%，在第二阶段提高了 1.91%，在第三阶段提高了 54.88%，在第四阶段提高了 72.02%。无指导的预测。然而，我们的任务为 NLP 研究人员在每个阶段进一步提高 OOD 性能留下了重大挑战。

二、结论

我们引入了一个多阶段任务，以弥合现实世界和标准自然语言处理任务公式之间的差距。受人机交互(如面试)的启发，我们通过结合各种形式的指导来设计我们的任务，以帮助系统提高其预测能力，并学习底层概念来实现概括。我们在自然语言推理环境中实例化了所提出的任务，并证明了每个阶段都提高了系统的面向对象泛化性能。然而，仍然存在很大的空间来改进概化阶段(尤其是阶段1和阶段2)。我们希望这项工作将使人们更多地关注开发与现实世界任务更加一致的自然语言处理系统。

三、model

模型：

算法：

在为NLI提议的任务的实例化的每个阶段所涉及的步骤：