多轮检索式对话——CIKM 2019IMN

Posted 2021-05-17 卓寿杰_SoulJoy

《Multi-Representation Fusion Network for Multi-Turn Response Selection in Retrieval-Based Chatbots》

本文模型整体框架如下：

• Word Representation Layer，解决OOV问题采用的3种向量：

  • 预训练词向量
  • 训练集词向量
  • 基于CNN的字向量

• Sentence Encoding Layer
  受ELMo网络的影响，作者使用了多层BiLSTM表示多个utterance，作者将这个网络模块命名为attentive hierarchical recurrent encoder（AHRE）。将每一层BiLSTM隐含状态根据一定权重累加：
  

• Matching Layer

  • 将context中的n个utterance各自的表征进行concatenation：
    
  • 计算每一个utterance与候选response的匹配度：
    
  • 利用匹配度信息进行utterance与response的交互并各自重构对方的表征，从而融合相互之间的匹配信息：
    
    
  • 将匹配信息和交互信息进行融合：
    
    
  • 将综合信息拆分成各个句子的粒度：
    

• Aggregation Layer

  • 将匹配之后的信息通过BiLSTM进一步捕捉词粒度的时序关系：
    
  • 做pooling，取隐状态各位的max 拼接上 最后一个隐状态：
    
  • 通过BiLSTM进一步捕捉utterance粒度的时序关系：
    
  • 再做pooling：
    
  • 拼接 c和r，最后用MLP进行分类：