CTR预估模型

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了CTR预估模型相关的知识,希望对你有一定的参考价值。

参考技术A

CTR:click-through-rate,找到用户的反馈行为(例如点击、收藏、购买等)与各种特征(包括用户特征、广告特征等)之间的关系。

特征数据特点:原始数据通常包括的特征特别多,而且一般会用one-hot-coding的方法进行记录,但是这样构成的数据高维、稀疏。

特征的编码:直接用one-hot会有问题,就像上边提到的,高纬稀疏不利于后面的处理,所以大部分的CTR预估模型都会对one-hot特征进行embedding。压缩编码的方式有:神经网络模型(nnlm, word2vec)、矩阵分解(MF)、因子分解机(FM)等。

CTR预估模型本质是个二分类的问题,因为主要是去建模预测用户是否会点击某个广告。

图1展示了两条CTR预估模型推演的过程。
红色的展示了:从FM开始推演其在深度学习上的各种推广;
黑色的展示了:从embedding+MLP自身演变的过程并结合CTR预估本身的业务场景推进的过程。

LR模型一般是CTR预估问题的基线模型,简单、可解释性强,但是由于本身的局限,不能处理特征和目标之间的非线性关系,尤其是在特征选择上,严重依赖于工程师的经验。
为了让线性模型能学习到原始特征和拟合目标之间的非线性关系,通常会对原始特征做非线性转换,例如:连续特征离散化、特征交叉(即利用领域知识,融入到模型中)等。

先将特征通过GBDT学习到每个叶子节点的编号做为新的特征,做为LR的输入。原因:GBDT能学习到高阶非线性特征组合。

CTR: LR、GBDT、FM、FNN、PNN、wide & Deep、DeepFM、DCN(Deep cross network)、xDeepFM
https://zhuanlan.zhihu.com/p/35465875
https://fuhailin.github.io/Deep-and-Cross-Network/
https://arxiv.org/pdf/1803.05170.pdf
xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems
https://zhuanlan.zhihu.com/p/57162373
https://zhuanlan.zhihu.com/p/83784018
Deep Interest Evolution Network for Click-Throug(阿里的一篇文章,2019 AAAI)

https://www.jiqizhixin.com/articles/2018-07-22-19

CTR预估模型(与POI推荐关系)

参考技术A

业界 | 从FM推演各深度CTR预估模型
本文对该文章的keypoint进行整理,同时对CTR预估模型与POI推荐进行比较。

也是 利用深度学习的POI推荐系统的通用框架 ,如图,图中架构以embedding+MLP作为baseline,利用邻域信息(即各种contexts,e.g. user context, POI context etc.)进一步提高推荐性能:

Embedding+MLP 存在的问题:只学习高阶特征组合,对于低阶或者手动的特征组合不够兼容,而且参数较多,学习较困难

以上是关于CTR预估模型的主要内容,如果未能解决你的问题,请参考以下文章

CTR预估---传统模型

前深度学习时代CTR预估模型的演化之路:从LR到FFM

CTR预估模型(与POI推荐关系)

深度CTR预估模型在应用宝推荐系统中的探索

- 从FM推演各深度CTR预估模型(附代码)

计算广告之CTR预估-FM模型解析