推荐系统rank模块-Online Learning

Posted 2021-05-01 浅梦的学习笔记

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了推荐系统rank模块-Online Learning相关的知识，希望对你有一定的参考价值。

“ 本文介绍了Online Learning中的基本概念，方法分类，经典算法以及在工业界的应用和学术界的最新进展，帮助大家快速的了解在线学习的相关知识～”

文章来源：https://zhuanlan.zhihu.com/p/65001235

本文仅供学术交流，如有侵权，请留言联系小编进行删除。

Online Learning 基本概念

Online Learning ⽅法分类：

在线学习实际上就是没来⼀个/批样本增量更新⼀次，主要有两类：

• 基于贝叶斯公式，这种更新⽅式⾮常⾃然。有名的应⽤包括微软的MatchBox，以及其在⼴告点击率上的应⽤，具体的paper名字⼤概是web-scale ctr prediction

• 基于sgd的⽅法，基于梯度优化的算法⼤都可以应⽤。这⼀类⽅法有很多变种，⼤多数是加速sgd的收敛速度，以及减少调参对收敛的影响，神经⽹络的训练基本都是此类⽅法。另外google有⼀篇⽂章Ad Predictor，算是把ctr预估的⽅向指向实时更新了

• Bandit类：其他还有⼀些online的⽅法，不过往往需要各种trick,⽐如近邻法，因为这类⽅法是⾮参数模型

Online Learning——Gradient Descent类：

Online gradient descent: Logarithmic Regret Algorithms for OnlineConvex Optimization

Dual averaging: Dual Averaging Methods for Regularized StochasticLearning and Online Optimization

• Online Learning 经典算法 (SGD、FTRL等)

FTRL: A Unified View of Regularized Dual Averaging

第⼀一项：梯度或累积梯度；第⼆二项：L1正则化项；第三项：限定x不不要离已迭代过的解太远（proximal）或者离0太远（central），也是low regret的需求

Adagrad: Adaptive Subgradient Methods for Online Learning and Stochastic Optimization

Online Learning BAT核⼼系统架构

BAT为什么需要 Online Learning：

离线批量量学习• 早先的搜索学习能⼒力力，是基于批处理理的离线机器器学习。在每次迭计算过程中，需要把全部的训练数据加载到内存中计算。虽然有分布式⼤大规模的机器器学习平台，在某种程度上批处理理⽅方法对训练样本的数量量还是有限制的。在线学习不不需要缓存所有数据，以流式的处理理⽅方式可以处理理任意数量量的样本，做到数据的实时消费。

特征实时• 2014年年双11，实时技术在⼤大促场景上，实现了了商品和⽤用户的特征实时，表现不不俗•为什什么需要模型在线学习呢？以及为什什么实现秒级的模型更更新？• 数据分布变化：在批量量学习中，⼀一般会假设样本独⽴立服从⼀一个未知的分布，但如果分布变化，模型效果会明显降低。⽽而在实际业务中，很多情况下，⼀一个模型⽣生效后，样本的分布发⽣生⼤大幅变化，因此学到的模型并不不能很好地匹配线上数据。实时模型，能通过不不断地拟合最近的线上数据，解决这⼀一问题，因此效果会较离线模型有较⼤大提升。那么为什什么实现秒级分钟级的模型更更新？在双11这种成交爆发⼒力力强、变化剧烈烈的场景，秒级实时模型相⽐比⼩小时级实时模型时效性的优势会更更加明显。根据2015年年双11实时成交额情况，前⾯面1⼩小时已经完成了了⼤大概总成交的1/3，⼩小时模型就⽆无法很好地捕获这段时间⾥里里⾯面的变化。

• 系统升级：• 2015年年BAT中搜索技术和算法团队继续推动在线计算的技术升级，基本确⽴立了了构筑基于实时计算体系的【在线学习+决策】搜索智能化的演进路路线。

• 搜索技术团队基于Pora开发了了基于parameter server的在线学习框架，如下图所示，实了了在线训练，开发了了基于pointwise的实时转化率预估模型，以及基于pairwise的在线矩阵分解模型。并通过swift输送模型到引擎，结合实时特征，实现了了特征和模型双实时的预测能⼒。

BAT中核⼼搜索技术演变：

推荐系统rank模块-Online Learning