内容社区行业搜索最佳实践

Posted 2022-05-07 阿里云云栖号

简介：社区内容通常包括UGC和PGC。由于关键词和内容多样性丰富、用词规范程度参差不齐，搜索引擎需要对关键词和内容进行智能语义分析，识别出用户真正的查询意图，找到最全面最相关的结果满足用户需求。本文将详细介绍如何通过“开放搜索（OpenSearch）内容增强版”在社区论坛场景的应用，提升用户搜索体验，带来更多的业务转化

社区的核心是用户，用户进入社区的主要目的是为了消费内容。内容可以是广义的图文、音频、视频，也可以是通过社区找到解决问题的方法。优质的内容能提升用户的活跃度，为平台带来流量与时长，实现用户增长和留存，获得更多业务机会和收益。

"搜索"作为社区直接获取内容的最有效途径，每个社区都在不断解决下面的搜索效果问题：

• 如何准确理解用户的搜索意图，返回最匹配的结果?
• 如何通过内容传播的差异化，个性化来提升用户的搜索体验，增强社区归属感和忠诚度？
• 如何在社区里不同领域，不同垂类，不同频道间的内容召回中实现交互和连接?
• 如何实现非商业化内容与商业化内容更好的融合与发展?

本文将带着以上几个思考，为大家解析内容社区行业搜索特点和挑战，以及介绍阿里云智能开放搜索－内容社区行业增强版的解决方案和应用实践。

内容行业搜索业务需求

» 更多的曝光机会——无结果率低;
» 更好的搜索质量——搜索相关性高，更高质量的排序;
» 更丰富的业务特征——结合业务特性调整搜索结果;
» 更全面的配套功能——智能纠错、热搜、底纹、下拉提示等配套能力;
» 更低的拥有成本——相较自建搜索引擎更低的开发、资源、运维成本;
» 更便捷的开发使用——上线周期短，降低搜索引擎开发、效果调优难度;

» 用户搜索意图指向性强——主搜聚集多个频道内容，搜索结果相关性要求更加精准;

以某论坛社区为例，产品线覆盖多个平台，包含网页、APP、小程序等形式，同时业务上区分多个频道。随着业务的发展，首页综合搜索（后简称“主搜”）的流量越来越大，各种付费、引流业务接入，对搜索流量的运营变得更加重要，对主搜的业务诉求越来越多，需要聚合多个频道的内容，同时搜索结果相关性要求更加精准，在考虑文本相关性的前提下，要加入更多的商业因素考虑。
成熟的搜索引擎涉及离线模块、在线模块、查询理解服务、算法平台等系统，所需大量开发、算法调优以及持续的复杂运维工作，由于人力有限，自建搜索系统很难满足业务需求。

常见搜索业务场景

文章搜索

• 博文、问答、心得分享等内容搜索
• 精品内容、热帖发现
• 付费资源引流
• 标签分类过滤、筛选

(配图来自阿里云开发者社区)

话题搜索

• 热门活动、话题互动
• PGC、UGC
• 热搜、底纹、下拉提示等搜索引导
• 个性化、时效性

(配图来自阿里云开发者社区)

开放搜索内容社区增强版

方案架构

功能介绍

内容行业增强版基于阿里巴巴最新算法功能，贴合不同垂类内容搜索场景的痛点和需求，提供了内容行业专属的智能语义理解能力、向量召回、排序算法，为内容行业的搜索性能和效果准确性提供双重保障，并有效的解决了超大词库数据导致的搜索延迟高、资源消耗大、搜索无结果率高等行业重难点问题。针对内容行业，开放搜索还提供了向量模型，以实现向量召回及多路搜索，提高查询准确率，并提供多模态搜索解决方案。

通用版VS内容行业增强版

1. 功能差异

1. 查询分析效果对比

行业增强版较通用版相比在查询分析功能上做出了更深入的优化，不仅在通用版的基础上更新了常见bad case，而且针对内容行业集各家之所长，丰富已有词库。

• 分词：（以空格分词）

• 拼写纠错：

内容行业向量召回

针对内容行业的垂类行业数据分布提供高质量的向量召回模型，保证长尾query，包含错别字query，依赖同义词改写召回query的召回效果

• 向量召回

CTR预估模型-个性化搜索效果

1. 基于Seq行为建模，实现个性化搜索

例如：用户连续搜索：“面试”，“Java”两个词和用户只搜索“Java”的结果是有差异的，实现个性化召回，针对性满足不同用户的搜索需求，提示用户搜索体验。

1. 深度排序模型DeepRanking

模型参数规模可以达到1000亿级别，保障更优搜索效果，且模型训练、使用成本低，远低于自研人力+机器+研发支持所用成本。

1. 深度召回模型集合阿里云达摩院的NLP能力，提升搜索效果，降低无结果率

针对用户和数据特点，结合阿里巴巴长期技术积累，深度定制模型结构，做到Make for you的特有深度模型结构。

增强版接入流程

轻松接入，快速上手，一键式接入行业模板，可根据自身业务自定义选择功能，并满足非技术人员业务干预调优与数字化运营需求； 点击体验交互式demo

表结构设计

详情可参考应用结构--->创建多表join。

数据接入

开放搜索支持用户通过数据源将数据接入搜索，也支持无数据源，通过API/SDK/控制台上传文件的方式导入数据详情如下：

1. RDS数据源配置
2. MaxCompute(原ODPS)数据源配置
3. POLARDB数据源配置
4. API/SDK数据导入

内容社区行业模板配置

功能选择，垂类选择“IT”行业为例，模板功能可自行勾选（默认全选）

其中模板功能包括：查询分析（IT词权重、IT同义词包、文本向量化等）、排序策略（多路搜索、文本相关性、向量相关性）、下拉提示。

搜索测试

1. 如需使用“IT向量索引”搜索，需要先配置查询分析-文本向量化功能，并添加对应的IT向量索引：

   

2. 在搜索测试中进行测试：

   

效果定制服务

如果有深度召回、排序效果调优、个性化搜索需求，开放搜索团队专家支持效果定制服务，可填写咨询问卷：阿里云登录 - 欢迎登录阿里云，安全稳定的云计算服务平台

案例实践

某技术社区作为中文IT内容社区，致力于为中国软件开发者提供知识传播、在线学习、职业发展等全生命周期服务，旗下包括多款产品。

自开始接触阿里云开放搜索产品，在一年的时间里陆续接入PC端、移动端的多个平台，覆盖首页搜索、博客、下载、问答等细分业务的频道搜索。通过开放搜索，为旗下产品的用户提供高质量的搜索服务，并通过搜索能力的优化带来更多的业务转化，提升整体业务收入。

• 对比基于开源自建的服务CTR提升超过80%
• 后续算法专家通过深度定制模型不断帮客户调优，每曝光用户带来点击次数提升16.7%，Item-CTR提升11.8%，效果还在持续提升中；

原文链接

本文为阿里云原创内容，未经允许不得转载。