DCMN+: Dual Co-Matching Network for Multi-choice Reading Comprehension

Posted 2022-11-30 Facico

DCMN+: Dual Co-Matching Network for Multi-choice Reading Comprehension

RACE数据集特点：答案可能不在给定的阅读材料中，这样需要模型更加深度地理解阅读材料

• 基于bert的以往做法：
  • 把(question,choice)连在一起看成一个句子，然后和passage做匹配
  • 缺点：
    • 这样question和choice之间没有交互信息
    • 上述流程相当于：先让passage和question做匹配，计算结果再和choice做匹配。但选项和问题应当是同样重要的，让question和passage做匹配很可能没有意义（如问题问的比较抽象时）

所以论文把他们都看成一个句子

embedding layer

Passage:P，Question:Q，A表示一个choice
$$\begin{gathered} H^p=BERT(P)H^p\in R^{P\times l} \\ {H}^q=BERT(Q)H^q\in R^{Q\times l} \\ {H}^a=BERT(A)H^a\in R^{A\times l} \\ |P|,|Q|,|A|是seqlen，l是hiddenstate \end{gathered}$$

• 这里的BERT也可以是其他的encode模型，论文中使用的是BERT

1、Passage Sentence Selection

• 要从文章选出和问题最相关的句子，这里就算文章$P=p_1,p_2,...,p_n$中每个句子和问题、选项的分数
  • top K的句子会被选择
  • 选择完的句子集合$P_S$

对于每个三元组$p_i,Q,A$，通过下面两个方法来计算分数，这里计算PQ和PA之间的分数

余弦距离

• 对于Q和A分别计算cos，再经过maxpooling后求均值

双线性距离

• 通过线性降维来得到分数
  

2、Answer Option Interaction

• 这里引入答案选项（A之间）之间的交互信息，使得每个答案融入相对于其他答案的比较信息

这里在任意两个选项之间构建双线性表示，下面是$A_i$和$A_j$之间的，最后使用门控机制进行信息融合

最后$O=H^{o_1},...,H^{o_m}$作为答案选择表示

3、Bidirectional Matching

这里三元组根据上两步从$(P,Q,A)$变为$(P_S,Q,O)$

• 计算$(P_S,Q,O)$三元组中所有的两元组的双相匹配信息

以QO的比配信息为例：

目标函数

这里得到$(P_S,Q,O)$之间的双向表示$M^{p-q},M^{p-o},M^{q-o}$之后，拼接得到最后的表示$C\in R^{3l}$

然后根据C来计算可能的答案$A_k$，m是答案的数量

效果

- 在large上提升了3个点

这篇文章只改动了fine-tunning的部分，虽然感觉双向匹配的部分有点生硬，但是还是带来的不错的效果

• 为什么不构建一些attention样式的东西来实现呢