魅族推荐平台架构解析

Posted 2022-10-29 魅族技术

近线模块

该层主要是利用流式处理的技术对用户实时产生的行为日志进行加工，利用一些高效、高性能的算法生产有价值的数据,如处理算法数据召回、实时数据统计等等。

 

如图，近线模块-流式日志数据传输分为以下几个部分：

• 数据通过Uxip从移动端、Web端进行收集；
• 收集后的数据通过Agent转发到Flume进行专线或公网等网络传输；
• 在中心机房的Flume将日志数据等进行归并传输到MetaMq；
• 基于MQ消息可以对数据进行流式处理如实时计算、数据落地等等。

 

资源调度管理

如下图，机器动态划分分组，可以按业务进行划分，也可以按照模型资源情况进行划分。

资源调度管理的作用在于：

• 解决单机重组问题，降低业务之间的相互影响,按照业务对性能的要求及复杂对分配不同的硬件机器。同时能够整合资源，不同大小的配置都可以在集群中得到应用；
• 解决内存模型存储限制问题，将模型分散到不同的集群中进行横向扩展；
• 在请求过程中请求根据Master进行动态调度，大型资源加载过程中机器请求自动调度到其它机器，解决大型资源加载过程中对业务的影响

 

在线模块-存储

在存储上实现多样性，根据不同的场景与性能指标采用不同类型的存储组合，实现业务隔离，根据模型的存储情况划分结果，实时调动管理所有分配数据。

 

LocalCache：一般用来处理一次请求中访问数据频次超高但数据容量不需要太大的数据，如LR模型数据。

mysql、Hbase、Redis：这三种存储的选择一般从性能和各自的特性出发点来选择最合适的，各自都是集群的方式，MySql可以按业务数据进行拆分成不同的集群进行访问。

 

离线-机器学习平台

我们的离线-机器学习平台可以呀提供特征工程、统计、训练、评估、预测和模型发布等功能，覆盖机器学习全流程，算法同学可以通过拖拽的方式就能完成模型训练和评估。

其优势在于：

• 模型训练及评估界面化，与调度平台无缝集成，使得算法离线模型处理及模型发布上线等更加高效简单；
• 系统集成多种算法可进行逻辑回归LR、聚类Kmeans、模型LDA、协同过滤CF等多种模型训练；
• 分布式数据处理与计算。

监控告警

整个模型和训练的过程都是处于离线和分布式环境下，监控在整个系统中必不可少。我们的监控告警系统的特点是：

• 细粒度性能监控，可以细粒度到具体的业务请求接口，从业务QPS、PV量、响应时长（P50.P70,P99,P999…）等；
• 应用服务器及操作系统各指标监控；
• 业务指标监控，如算法效果及其它业务指标监控；
• 监控指标可根据具体的需求扩展。

 

四、魅族推荐平台挑战和愿景

• 挑战10亿/每天以上在线实时计算请求PV数；
• 支撑起百亿条/每天的日志进行实时计算，毫秒级别的进行用户模型更新；
• 支撑更多的特征集计算，同时在线计算响应时长更加的短；
• 支撑更多的魅族产品线业务；
• 推荐平台对外开放，能为行业其它的企业提供专业的推荐服务；
• 深度学习集成。