对话系统 常用术语

Posted 2020-11-26 shona

 

单轮对话

一般是基于检索的，回答句对  Or 知识库

评价指标

召回率，准确率，问题解决率

召回率 =  能回答的总数  / 问题总数

准确率 = 正确回答数量 / 问题总数

问题解决率 = 机器人成功解决的问题数量 / 问题总数，该指标一般用来替代准确率（准确率需要人工标记，统计复杂）

机器人成功解决的问题数 = 问题总数 - 转人工客服的问题数量 - 顾客反馈不满意的问题数量

反馈 ，打分机制

难点：

1. 识别同一问题的不同表达方式：希望机器人可以自动的识别不同表达方式

2. 理解语义细微差别，处理差异性问法。

eg： 你能干嘛？ 你干嘛的？ 你在干嘛？ 你干嘛呀！

能否识别类似话剧的语义差切，自动匹配到不同的答案。

3. 聚类高频问题，自动学习优化知识库

机器人必须要有自主学习能力，自动总结及挖掘不在知识库中的高频问句，补充和完善知识库。

 

多轮对话

 

 指标

任务完成率 = 成功结束的多轮会话数 / 多轮回话总数

但成功结束 不一定意味着问题解决。

何时切换到人工？

定制难度

API接口和开发文档。

支持非AI专业人员开发。

快速搭建。

难点

1. 准确进行语义理解

上下文关联  中途打断回溯 支持指代识别

 

 2. 状态管理及个性化语言生成

一、用户画像管理

二、对话状态管理

 

 意图识别

 

用户说的话需要参数化的时候 需要用到意图识别（任务型对话）， 否则不需要。

意图-> 分类

难点：没有标准，表达差异

 

 

基于语义解析：任务型

 

基于语义解析的常见技术手段 

基于语义匹配：问答型 

 

 

 

常见技术手段