Passage Re-ranking with BERT

Posted 2023-02-21 Facico

Passage Re-ranking with BERT

task

有一个给定的问题，要给出答案分三个阶段
1、通过一个标准的机制从语料库中见多大量可能与给定相关的文档
2、passage re-ranking：对这些文档打分并重排序
3、分数前几的（前10、或前15等）的文档将会是这个问题答案的来源，用答案生成模型产出答案

这篇论文主要是研究第二个阶段

方法

要做的工作即是：对于一个询问$q$，一个候选文章$d_i$，给出一个分数$s_i$

• 询问为句子A，限制在64个token内
• 文章为句子B，有文章截取，其长度与分隔符、询问的和最大不超过512个token

使用BERT_LARGE来做一个二分类网络，取最顶层的[CLS]作为句子的表示：来计算每个文章和询问的相关的概率，最后通关对这个概率排序来进入第三阶段

loss:

$$L=-\sum _{j\in J_{pos}}\log (s_j)-\sum _{j\in J_{neg}}\log (1-s_j)$$

• $J_{pos}$ ：相关的文章
• $J_{neg}$ ：不相关的文章

实验

效果比之前的好很多