多轮检索式对话——ACL 2018DAM

Posted 2021-05-17 卓寿杰_SoulJoy

《Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network》

文本对于context和response语义上的联系更进一步，将 attention 应用于多轮对话，打破之前的 RNN 和 CNN 结构，在多轮上速度快，达到了目前最好效果。其次，本文使用 self-attention 和 cross-attention 来提取 response 和 context 的特征:

• Representation
  主要用到：self-attention 和 cross-attention

  • self-attention：
    
  • cross-attention：
    

• Utterance-Response Matching
  
  

• Aggregation
  
  有n句utterance，Q就有有n个切片。对应n个utterance-response对的匹配矩阵, 每一片的尺寸都是(n_u_i, n_r)对应匹配矩阵中每个矩阵的尺寸

  最大池的3D卷积的操作是典型的2D卷积的扩展，如图其过滤器和步幅是3D立方体，对于每个切片再进行匹配得分的计算：
  
  释然函数：