使用序列模型训练对话

Posted 2023-02-16

【中文标题】使用序列模型训练对话

【英文标题】：Training conversations using sequence models

【发布时间】：2020-03-31 02:56:22

【问题描述】：

我有一个关于训练对话的问题，上下文是下一个语句不一定是前一个语句的函数，而是会话主体中的任何语句的函数，例如：

person1：你最喜欢的食物和餐厅是什么 第二个人：我最喜欢的食物是汉堡，麦当劳是我最喜欢的餐厅 Person1：你为什么喜欢汉堡 人2：因为我不关心吃饭时的健康方面 person1：有那么多地方可以买汉堡，你为什么喜欢麦当劳

现在我们可以看到，最后一个问题来自 3 步前收到的答案... 在这种情况下，我如何训练 lstm 以便它记住所有以前的上下文.. 基本上我正在寻找一种方法来创建我的训练数据和输出句子..

【参考方案1】：

不确定 LSTM 是否会为您发布的示例对话提供足够的长期记忆。您可能需要使用某种转换器内存网络来维护上下文。看看“角色聊天”问题的方法以及处理对话上下文的this recent paper。