算法评测报告
Posted H.「俠」
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了算法评测报告相关的知识，希望对你有一定的参考价值。
概述
-
命中率：
-
加分项
完整原问题命中率93.4% ，直接模糊检索的关键词命中率90.3%，调整原问题中词汇的近义词的命中率
85%，句式结构变化而含义不变命中率95.5%.
-
减分项
-
无关问题（应该返回空数组）
问题数据总数20，达标率（返回空数组数/总数）65%
-
语气、助词、等无用语句对结果与命中率的影响
问题数据总数20, 含语气词，命中率100%.
-
-
一、加分视角
-
完整原问题命中率
-
数据量及命中率：财务123条、运营234条；运营命中率96.6%，财务命中率90.2%，取平均为：93.4%
-
示例
1、命中示例：
--request ：
{
"question": "请问我需要更换我在系统里的薪资卡，怎么办?",
"robot": "operation"
}
--response ：
{
"ext": null,
"responseData": {
"questions": [
{
"ques": "请问我需要更换我在系统里的薪资卡，怎么办?",
"id": "3"
},
{
"ques": "我是新入职员工，hi报销绑定薪资卡提示参数非法",
"id": "199"
},
{
"ques": "客脉里已经审核完毕的供应商手机号码或者银行卡需要变更，如何处理？",
"id": "9"
},
{
"ques": "企业供应商，银行账号需要更改",
"id": "23"
},
{
"ques": "个人供应商审核通过，需要重新维护个人供应商银行卡信息怎么办",
"id": "24"
},
{
"ques": "如何修改已经审核通过的企业供应商的银行账户信息",
"id": "25"
},
{
"ques": "企业供应商维护找不到所属银行",
"id": "14"
},
{
"ques": "做合同的时候，供应商的银行账号选错了怎么办？",
"id": "38"
},
{
"ques": "RTX密码忘记了，如何修改",
"id": "198"
},
{
"ques": "如何更换公司预留手机号",
"id": "215"
}
],
"msgCode": "700"
},
"message": "成功",
"msgCode": "100"
}
2、未命中示例：
--request ：
{
"question": "客脉里维护医生/护士信息时，在对应的网站里没有查询到资格证号信息，该怎么处理？",
"robot": "operation"
}
--response ：
{
"ext": null,
"responseData": {
"questions": [
{
"ques": "护士资格证查询网址",
"id": "6"
},
{
"ques": "医生资格证的查询网址",
"id": "5"
},
{
"ques": "晴优品商城里如何搜索商品？",
"id": "151"
},
{
"ques": "搜索不到想要用餐的商户",
"id": "121"
},
{
"ques": "药房录单了，柳叶助手怎么查录单信息",
"id": "99"
},
{
"ques": "在客脉里添加了信息，为什么请款\\/报销时还是不能搜索到？",
"id": "27"
},
{
"ques": "项目管理里领导已经审批完毕，团队成员已选择该用户，但是用户打Q计划时，无法搜索到该项目",
"id": "146"
},
{
"ques": "创建合同选择不到对应的供应商",
"id": "33"
},
{
"ques": "晴闪寄月结号查询",
"id": "220"
},
{
"ques": "晴优品商城是否有物流信息",
"id": "148"
}
],
"msgCode": "700"
},
-