阿里云峰会 | AI搜题加速在线教育行业场景创新

Posted 2021-06-26 阿里云开发者

简介：过去的2020年的让所有人难忘的一年，受新冠疫情的影响，各行各业都在挑战中变化，在教育方面也催生了新的商业格局。在线教育平台发展迅猛，阿里云也积极相应，为在线教育的众多客户提供了高效稳定的技术保障。本文介绍了阿里云开放搜索为在线教育掠夺流量的重要工具-拍照搜索的技术原理。

分享人：徐光伟（昆卡) 阿里巴巴达摩院算法专家

了解更多解决方案详情：https://www.aliyun.com/page-source/data-intelligence/activity/edusearch

搜索是在线教育企业流量获取的利器

截至2020年12月份教育行业月活TOP10的统计，其中具备搜题能力的软件多达5个，拍照搜题作为产品能力，可以帮助客户获取大量用户以及流量，从而为其他产品提供变现能力，正是由于这样定位，拍照搜题整体准确性和搜索效率都成为至关重要的一点，所以开放搜索对此做了很多订制优化。

教育搜题业务特点

对于教育搜题业务场景归纳了三大特点：

第一点海量题库，教育题库都是属于千万级别甚至到亿级别，而且不断的持续增长；同时搜题业务存在很明显的高峰现象，例如晚上七八点，节假日最后一天，这时搜题会存在非常高的QPS的波峰；搜索延迟会严重影响用户的体验。

第二点场景丰富，拍照搜题涵盖的场景越来越丰富，包括不同的年龄段，例如低年级搜题主要围绕拍照看图识字或连线题，需要更多的图片信息的题目；还包括不同的学科，目前支持的学科多达十多种，因此丰富的场景就会对搜索效果带来更大的挑战。

第三点算法需求，拍照搜题产品形态一般只会展现TOP3或者TOP5的结果，正是因为这样设定，准确性对于拍照搜题来说至关重要，同时拍照搜题还会涉及到多模态和多语言处理能力，解决图文搜索和多语言处理的需求。

开放搜索教育搜题方案架构

阿里云开放搜索的拍照搜题解决方案，当用户通过拍照经过OCR识别之后的文本，经过开放搜索引擎处理后会返回TOP3-5的结果给用户得到展示，并且针对企业题库数据严格保证数据的安全和隐私。

教育搜题算法能力

查询分析算法优化完整的处理流程

教育行业分词和学科类目预测

分词在拍照搜题场景下存在两大难点，第一点英文题目OCR识别之后空格缺失，左边第一个图可以看到，即便针对很长没有空格的英文文本，模型也是可以非常准确的做正确的切分。第二个难点是数学题目公式表示之后的切分，左边第二个图可以看到数学符号部分都做出正确的切分。

类目预测在拍照搜题场景下对应的就是学科的预测和题型的预测，我们结合图片以及OCR识别之后的文本信息做多模态预测，从而提高搜题准确率。

多路召回排序技术

由于拍照搜题业务场景的特殊性，开放搜索还引入了多路召回排序技术。

为什么要做多路召回呢？

教育拍照搜题相比传统的网页或者电商的搜索存在明显的差异，第一点是搜索的Query特别长，第二点是搜索的Query由拍照OCR识别之后得到的文本，其中关键TERM识别错误的话，就会严重影响召回排序。

传统的纯文本查询方案包括两种，第一种是OR逻辑查询，第二种AND逻辑查询，AND逻辑查询上基于我们刚才说到的针对教育领域优化定制的Query模块分析之后大幅提高效果，现在可以做到准确性接近OR逻辑。

如何兼顾搜索计算开销以及搜索的准确率呢？

引入了文本的向量召回，对文本向量召回技术优化了三点，

第一点是其中的BERT模型我们采用达摩院自研的StructBERT，并针对于教育行业做了定制，同时对BERT模型做压缩加速。

第二点是向量检索引擎采用达摩院自研的Proxma引擎，准确性和速度都超越开源系统。

第三点训练数据可以基于客户的搜索日志不断积累，效果持续提升。

从右边的图可以看到，最终我们在基于两侧的BERT模型就可以达到非常好的效果，准确性超过OR逻辑3%—5%，整体召回DOC数量减少40倍，Latecy降低10倍以上。

搜题效果展示

举例两个具体搜题的case，左边这个case可以看到其中因为问题中的文字描述和题库中文字描述不一致，传统搜索引擎返回的结果相关性极差，经过我们引入语意向量召回之后右边TOP3结果完全符合题意。第二个case因为这个题目中包含图片的信息，传统的搜索引擎无法做到准确的召回，基于我们多路召回引入图象信息之后TOP1返回完全一致的题目。

开放搜索解决方案优势

案例一：某K12的教育用户，用户数达到千万级别，题库量在八千万左右而且在持续增加，客户接入开放搜索之后返回搜题准确率提升45%，延迟降到50%毫秒。

案例二：某高职教育客户，产品DAU三百万，月活一千万，客户接入之后反馈对比他们原先自建的系统，在高峰时候耗时大于两秒，现在开放搜索可以稳定在50毫秒，同比下降40倍。TOP5题目搜索准确率提升2.4%搜索结果从原来40%降到不到1%，业务高峰期可以实现秒级平滑扩容。

获得专家指导：

https://survey.aliyun.com/apps/zhiliao/6R4u6vilI

原文链接：https://developer.aliyun.com/article/784459?

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。