论文泛读85基于上下文的句子相似度

Posted 2021-06-06 及时行樂_

贴一下汇总贴：论文阅读记录

论文链接：《Sentence Similarity Based on Contexts》

一、摘要

现有的衡量句子相似度的方法面临两个挑战：（1）标记数据集通常规模有限，使其不足以训练监督型神经模型；（2）由于没有在训练时显式建模句子级语义，因此基于无监督语言建模（LM）的模型在计算句子之间的语义分数时存在训练测试缺口。这会导致该任务的性能降低。在这项工作中，我们提出了一个解决这两个问题的新框架。所提出的框架基于这样的核心思想：一个句子的含义应由其上下文定义，并且可以通过比较在相同上下文下生成两个句子的概率来衡量句子的相似性。拟议的框架能够产生高质量，具有无监督方式的两个句子之间的语义相似性评分的大规模数据集，可以在很大程度上弥补训练测试的差距。大量实验表明，在不同数据集的有监督和无监督设置下，所提出的框架在现有基准上均实现了显着的性能提升。

二、结论

在这项工作中，我们提出了一个新的框架来衡量句子相似性的基础上，事实上，产生两个相似的句子基于相同的背景应该是相似的。我们提出了一个流水线系统，首先收集大量的句子对及其相似性得分，然后使用自动标记的句子对训练一个代理模型，以达到更快的推理。大量实验证明了该框架相对于现有句子嵌入方法的有效性。

三、模型

通过测量在多个上下文中生成两个句子的概率来计算两个句子之间的语义相似度。

我们可以通过以下步骤来实现这个目标：
(1)我们首先需要训练一个语境模型来预测一个句子适合左右语境的概率。这个目标可以通过判别模型来实现，即预测句子与上下文的连接形成连贯文本的概率，或者通过生成模型来实现，即预测在给定上下文的情况下生成句子的概率；
(2)接下来，给定一对句子，我们可以通过比较给定不同上下文的上下文模型所分配的分数来测量它们的相似性；
(3)对于步骤2，对于测试时的任何一对句子，我们需要对不同的上下文进行采样，以计算上下文模型分配的分数，这很耗时。因此，我们建议训练一个代理模型，该模型将一对句子作为输入，并预测上下文模型赋予的相似性。这使得更快的推理成为可能，尽管牺牲了一点点准确性；
(4)替代模型可以以无监督的方式直接用于获得句子相似性分数，或者用作模型初始化，这将在有监督的设置中在下游数据集上进一步微调。