魅族推荐平台架构解析

Posted 2022-11-06 魅族技术

三、魅族推荐平台现状

1、第三代架构的核心需求

为了解决上述问题，我们对魅族推荐平台架构进行了优化。根据业务需要以及对一二代架构优缺点的总结，我们首先确定了第三代架构的核心需求：

• 集群资源动态管理，解决模型存储及计算资源利用率的问题
• 用户行为数据能够实时的进行计算，并最终反馈到模型，提高推荐结果的准确性
• 优法算法模型训练过程，将大部分工作能通过可视化的方式完成，提高工作效率
• 解决业务之间的相互影响
• 优化高效的性能及稳定性

 

2、推荐平台数据处理模型

上图是推荐平台数据处理的模型，我们把整个流程切割成几块，离线、近线、在线部分，不同的阶段处理不同的事情，处理数据量级别及复杂度也在各阶段不断的减少.

 

3、推荐平台现有架构

上图是推荐平台现有架构图，我们有一些资源管理和在线计算，还有机器学习平台解决离线计算的问题。

3.1 推荐平台架构分层

看架构主要看里面的层次。魅族推荐平台现有架构分为三层：

• offline运算层（离线计算）：该层主要是离线对海量的数据进行建模加工，生产有价值的数据，如Item相似库、user相关库、CF离线推荐结果等。
• nearline运算层: 该层主要是利用式处理的技术对用户实时产生的行为日志进行加工，利用一些高效、高性能的算法生产有价值的数据
• online运算层: 该层主要处理一些相对简单的运算逻辑，在线进行计算。
•  

3.2 推荐架构各模块的实现原理

在线模块-OpenAPI

首先，统一接入规范

所有应用接入按照统一规范进行接入，所有提供出去的接口模式统一，这样大大降低接入方的难度。

其次，路由

根据用户标识、版本、服务器IP以及权重规则路由到不同的Online计算插件服务。这样一来可以实现实现流量分流、A/B Test、灰度发布的目的、接口代理

第三，接入权限管理

统一管理接口调用权限

第四，统一监控

统一进行业务设用监控，如业务调用量、QPS、响应时长、业务设用失败告警等

A/B测试模块

在推荐平台中最重要的一个功能就是A/B测试，A/B测试主要是对用户进行抽样分流到不同的算法组合当中，最后通过评估数据来驱动算法工程师对算法效果不断的进行调优。它的好坏直接决定了算法以及对模型优化的难度。

 

在做A/B测试的时候我们会通过一定的抽样方式选取目标人群，

根据一定的规则做配置，让他们访问不同的算法组合，我们再根据不同的组合做评估，上图中我只写了一个转化率，真正的评估数据不只这些。

 

我们来看A/B测试效果评估过程：

用户请求数据后App端及Web对用户看到的推荐数据所产生的一系例行为进行上报，数据采集服务端对日志数据进行收集并通过流平台将数据进行归并，同时对部分的实时数据进行在线统计分析最终产生效果评估数据。

 

上图是截取的一个A/B测试效果评估图。真正的效果评估也不只这些，每一组业务场景的效果评估都是不一样的。

 

在线模块-计算模块

 

计算模块分为两大块：

第一大块是业务策略计算，主要是处理业务相关的一些排序、过滤、人工干预竞价排名等于具体业务相关的逻辑，不同的业务个性化需求采用插件化的方式进行接入；

第二大块是初始化模块，主要是对物品进行精选相关的计算，同时管理对新的算法的支持及模型的存储。

从图中看出，推荐一般性的数据处理过程从召回阶段到预测再到业务重排阶段数据量依次减少。

精选阶段的数据是来源于召回的数据，有可能同时存在几个或十几个召回算法，对不同召回的数据及相关的资源可能存储在不同的机器上或者数据库中，所以请求接收点结在接收请求后需要根据配置将不同的处理请求分发到不同的机器上进行计算然后再归并返回。

 

接下来的文章中，我们把在线模块，在线存储，资源调度等跟大家详解。