推荐系统CTR方向相关论文一句话总结

Posted 2022-12-15 salmon1802

Fearure Interaction // CTR

• 纯FM模型及其演变
• • • Factorization Machines. 2010
    • Field-aware Factorization Machines for CTR Prediction. 2016
    • Neural Factorization Machines for Sparse Predictive Analytics. 2017
    • Attentional Factorization Machines: Learning the Weight of Feature Interactions via Attention Networks. 2017
    • Field-weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising. 2018
    • 𝐹𝑀${}^2$: Field-matrixed Factorization Machines for Recommender Systems. 2021 // Field-Embedded Factorization Machines for Click-through rate prediction. 2021
• Cross & MLP 混合模型及其演变
• • • AdnFM: An Attentive DenseNet based Factorization Machine for Click-Through-Rate Prediction. 2021
    • AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks. 2019
    • Deep & Cross Network for Ad Click Predictions. 2017
    • DCN V2: Improved Deep & Cross Network and Practical Lessons for Web-scale Learning to Rank Systems. 2020
    • DeepLight: Deep Lightweight Feature Interactions for Accelerating CTR Predictions in Ad Serving. 2021
    • Deep Crossing: Web-Scale Modeling without Manually Crafted Combinatorial Features. 2016
    • Deep Interest Network for Click-Through Rate Prediction. 2018
    • Deep Interest Evolution Network for Click-Through Rate Prediction. 2018
    • DeepFM: A Factorization-Machine based Neural Network for CTR Prediction. 2017
    • Deep Learning over Multi-field Categorical Data – A Case Study on User Response Prediction. 2016
    • Wide & Deep Learning for Recommender Systems. 2016
    • xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems. 2018
    • Product-based Neural Networks for User Response Prediction. 2016
    • FiBiNET: Combining Feature Importance and Bilinear feature Interaction for Click-Through Rate Prediction. 2019
    • Neural Collaborative Filtering vs. Matrix Factorization Revisited. 2020
    • Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches. 2019
    • Deep Session Interest Network for Click-Through Rate Prediction. 2019

纯FM模型及其演变

Factorization Machines. 2010

推荐系统领域一开山鼻祖算法，另一个是CF。
借鉴MF的思想建立隐向量，首次将POLY2的模型二阶项权重难以更新的问题解决，并且可以将指数级运算复杂度降低到线性级别，多次比赛夺魁。

Field-aware Factorization Machines for CTR Prediction. 2016

提出不同特征域中的特征进行交互时是有差别的，将传统隐向量进一步划分，提高了表达能力。

Neural Factorization Machines for Sparse Predictive Analytics. 2017

将传统FM的二阶项中的隐向量 $v_i,v_j$ 的运算从内积转变为哈达玛积，求和后放入MLP中进行进一步高阶交叉。

$f(x)$即代表MLP与Pooling层

Attentional Factorization Machines: Learning the Weight of Feature Interactions via Attention Networks. 2017

第一次在FM里引入了注意力机制，通过注意力网络学习二阶特征交互的重要程度，加权后再进行传统操作。

Field-weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising. 2018

将FFM模型从高复杂度中解放出来，优化了不同域交互中同一特征表现不一的问题，加入了一个标量来衡量域之间的交互强度。

同时也对线性项做了优化。

𝐹𝑀${}^2$: Field-matrixed Factorization Machines for Recommender Systems. 2021 // Field-Embedded Factorization Machines for Click-through rate prediction. 2021

这两个要放在一起说，因为𝐹𝑀${}^2$与FeFM想法撞车了，不过看了一下好像是FeFM先提出的，不过𝐹𝑀${}^2$发表的快。
针对不同域之间的特征交互，加入了一个交互矩阵作为特征间的交互强弱参数。同时也提出了FvFM（即上述的交互矩阵变成交互向量），也使用FwFM的思想将线性项做了优化。
由于矩阵乘法的特性，可以控制每个 域交互对 的交互矩阵大小，也就是控制交互强弱。

Cross & MLP 混合模型及其演变

AdnFM: An Attentive DenseNet based Factorization Machine for Click-Through-Rate Prediction. 2021

将FM与改进后的MLP（引入注意力机制与残差网络）结合起来，试图在高阶特征交互中找到更重要的交互。效果似乎一般。

AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks. 2019

使用多头注意力机制（Transformer）衡量特征之间的交互重要程度，也借鉴了残差网络的思想对最后的交互结果做了修改。

Deep & Cross Network for Ad Click Predictions. 2017

也借鉴了残差网络的思想，在上一层的基础上与最初的第一层交互拟合两层之间的差别。

DCN V2: Improved Deep & Cross Network and Practical Lessons for Web-scale Learning to Rank Systems. 2020

在V1版本的基础上改进了模型联合方式，可以stack或者parallel，将参数向量转变为参数矩阵，提高了灵活度，并且使用专家模型MOE和SVD技术对参数矩阵进行了分解降低了时间复杂度。

DeepLight: Deep Lightweight Feature Interactions for Accelerating CTR Predictions in Ad Serving. 2021

使用FwFM与MLP进行平行结构组合，不同于DeepFM，DeepLight使用剪枝算法对模型进行优化，降低了时间与空间复杂度。

Deep Crossing: Web-Scale Modeling without Manually Crafted Combinatorial Features. 2016

高阶特征交互依赖于更深的网络层次，为了解决MLP无法做到更深层次的问题，首次将残差网络加入到特征组合模型中。

Deep Interest Network for Click-Through Rate Prediction. 2018

与AFM一样，把注意力机制引入到特征组合领域中，不过文章更具有业务气息。
创新点有三：注意力单元、可感知数据分布的激活函数、可感知数据分布的正则化项

Deep Interest Evolution Network for Click-Through Rate Prediction. 2018

针对用户历史行为序列进行建模预测下一次用户的行为，以此来提高预测准确度，获得了很好的效果。
创新点有二：优化了传统GRU方法引入注意力激活单元、针对GRU提出了辅助loss函数。
且开创性的将用户兴趣模型分为：兴趣提取层、兴趣演化层，减轻用户兴趣转移所带来的噪声。

DeepFM: A Factorization-Machine based Neural Network for CTR Prediction. 2017

开创性的提出Embedding共享，同时抓取低维及高维特征组合。

Deep Learning over Multi-field Categorical Data – A Case Study on User Response Prediction. 2016

没啥特别的，就是预训练一个FM，将其中的$v_1.....v_i$作为MLP的embedding输入。

Wide & Deep Learning for Recommender Systems. 2016

首次将平行结构引入CTR领域，实现人工和自动的特征交互。
首次提出 “记忆” 与 “泛化” 能力。

xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems. 2018

比较复杂的一个DCN改进版本，将向量交叉变为矩阵交叉，并利用卷积网络的思想（卷积核 + pooling层）对三维张量进行降维处理后再进行最后的预测。

Product-based Neural Networks for User Response Prediction. 2016

证明了MLP的特征交互能力不足，此后的很多的模型如(DCN)都证明了这一点。
此模型的思路是做一个重叠（stack）结构，embedding后先特征交叉再输入到MLP中。
外积效果最好，但一般使用内积。

FiBiNET: Combining Feature Importance and Bilinear feature Interaction for Click-Through Rate Prediction. 2019

本文的Bilinear-Interaction Layer与$F{M}^2$极其相似，并且提前了3年，不过它提出了不同的交叉方法：先矩阵乘法再哈达玛积。
借鉴CV领域的SENET模型衡量不同特征域之间交互的重要程度，类似于注意力机制，之后将每个域的注意力分数与原Embedding相乘。

Neural Collaborative Filtering vs. Matrix Factorization Revisited. 2020

本文指出MLP十分垃圾，想要达到普通点积的操作效果的话，需要大量的数据来学习，同时使用防止过拟合的手段，吃力不讨好。
点积 vs MLP

Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches. 2019

发表之后饱受质疑的一篇文章，当年最佳论文。
它说深度学习不行！但是遭到很多学者的声讨，埋怨作者没有完全理解他们的模型，也没有进行合适的调参。
开怼！

Deep Session Interest Network for Click-Through Rate Prediction. 2019

DSIN是一个集大成的模型，可以将此模型看做五层：
划分层：将原始用户行为序列Embedding后按照30min为一个session进行划分
抽取层：使用transformer对行为序列进行编码，使一个具体的点击行为包含与之相关的其它行为，即使用注意力加权操作强调与当前用户行为相关的行为。
交互层：使用Bi-LSTM对抽取到的行为序列进行进一步操作，使之包含行为的顺序信息。
激活层：依据目标广告item对抽取层与交互层编码后的序列信息进行注意力操作，找到与目标广告item相关的行为，对其加权。
MLP层：将处理好的信息concat起来与用户特征一起输入到一个MLP里进行交互，最后输出预测结果。
文本提到的一些子模型可以看看这个博客