论文泛读66利用开放式问题解答的生成模型来利用通道检索

Posted 2021-06-06 及时行樂_

贴一下汇总贴：论文阅读记录

论文链接：《Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering》

一、摘要

事实证明，开放域问答的生成模型具有竞争力，而无需求助于外部知识。尽管有希望，但是这种方法需要使用具有数十亿个参数的模型，这对于训练和查询而言是昂贵的。在本文中，我们研究了这些模型可以从检索文本段落（可能包含证据）中受益多少。我们获得了有关自然问题和TriviaQA开放基准的最新结果。有趣的是，我们观察到，当增加检索到的段落数时，该方法的性能会显着提高。这证明生成模型擅长汇总和组合来自多个段落的证据。

二、结论

在本文中，我们研究了一种简单的开放领域问题回答方法，该方法依赖于在用生成模型处理之前检索支持段落。我们表明，虽然在概念上很简单，但这种方法与现有的方法相比是有竞争力的，并且它可以很好地与检索到的段落数量相匹配。在未来的工作中，我们计划使该模型更加有效，特别是当扩展到大量支持通道时。我们还计划将检索集成到我们的模型中，并端到端地学习整个系统。

三、model

解码器融合：

实验报告：