论文泛读173MemSum：使用多步情景马尔可夫决策过程对长文档进行提取总结

Posted 2021-08-21 及时行樂_

贴一下汇总贴：论文阅读记录

论文链接：《MemSum: Extractive Summarization of Long Documents using Multi-step Episodic Markov Decision Processes》

一、摘要

我们介绍了 MemSum（多步情景马尔可夫决策过程提取 SUMmarizer），这是一种基于强化学习的提取总结器，在任何给定的时间步长都富含有关当前提取历史的信息。与之前的模型类似，MemSum 迭代地将句子选择到摘要中。我们的创新在于在总结时考虑更广泛的信息集，人类在此任务中也可以直观地使用这些信息集：1) 句子的文本内容，2) 文档其余部分的全局文本上下文，以及 3) 提取history 由一组已经提取的句子组成。凭借轻量级架构，MemSum 在长文档数据集（PubMed、arXiv 和 GovReport）上获得了最先进的测试集性能（ROUGE 分数）。

二、结论

具有历史意识的多步马尔可夫决策过程可以有效地实现抽取式摘要。使用本地句子、全局上下文和提取历史的编码器，MemSum代理可以访问人类在总结文档时直观使用的信息。对提取历史的了解有助于MemSum生成紧凑的摘要，并在文档中表现出对冗余的鲁棒性。作为一个轻量级模型，MemSum在不同的长文档摘要任务上优于抽取基线和抽象基线。

三、model

模型的体系结构：

• 局部句子编码器
• 全局上下文编码器
• 提取历史编码器

训练算法：