论文泛读69利用束密集检索对非结构化文本进行多步推理

Posted 2021-06-06 及时行樂_

贴一下汇总贴：论文阅读记录

论文链接：《Multi-Step Reasoning Over Unstructured Text with Beam Dense Retrieval》

一、摘要

复杂的问题解答通常需要找到由多个证据组成的推理链。假设文本语料库是半结构化的，当前的方法结合了结构化知识和非结构化文本的优势。在密集检索方法的基础上，我们提出了一种新的多步检索方法（BeamDR），该方法通过在密集表示形式中进行波束搜索来迭代地形成证据链。在多跳问答中进行评估时，BeamDR在不使用任何半结构化信息的情况下，与最新系统相比具有竞争力。通过在密集空间中进行查询组合，BeamDR捕获了推理链中证据之间的隐式关系。

github

二、结论

我们介绍了一种简单而有效的多步密集检索方法，BEAMDR。通过在训练期间进行波束搜索和全局刷新负链，BEAMDR在密集空间中找到推理链。虽然不使用半结构化信息，但波束形成器比更复杂的SOTA系统更有竞争力。

虽然BEAMDR可以揭示嵌入在单个问题中的关系，但未来的工作应该研究如何使用这些联系来解决问题中的模糊性(Elgohary等人，2019；Min等人，2020)，解决实体提及(Guha等人，2015)，跨模态连接概念(Lei等人，2018)，或将相关问题相互连接(Elgohary等人，2018)。

三、model

BEAMDR应用于底部，迭代进行查询，检索证据。

BEAMDR: Beam Dense Retriever