ADL100-Wuwei-检索式对话

Posted 2022-03-03 zh-liu

1. 检索

　　1）（单轮回复选择）匹配模型

　　　　a. sentence 生成定长向量 进行匹配 f(g(Q), g(R))

　　　　　　f和g各种变种

　　　　　　f: MLP Neural Tensor Cosine

　　　　　　g: CNN LSTM+Att 

　　　　b. query 与 candidate response 匹配

　　　　　　g: Interaction Representation(Att / Sim)

　　　　c. 效力和效率

　　2）多轮回复选择

　　　　a. 挑战：

　　　　　　层次结构：word->utterance->session

　　　　　　信息冗余

　　　　　　逻辑：句子的顺序？词句长期依赖，适合句子的约束

　　3）knowledge enhanced

　　方向：deep wide pre-training ->  hhh yes

　　Learning method

　　　　from unlabelled data （weak supervision） （acl 18）

　　　　denoise with Peer （co-teaching） (两个网络互相加权，互相trach acl19)

　　　　　　teach with dynamic margin

　　　　　　teach with dynamic instance weight

　　　　　　teach with dynamic data curriculum(选高置信度的)

　　Summary:

　　　　matching model

　　　　two framework

　　　　　　vec -> match

　　　　　　rep -> math -> aggregation

　　　　external knowledge

　　　　Deep, wide(better representation), learning method