论文研读1.1 基于 DeepFM 模型的广告推荐系统研究（郁等）

Posted 2021-03-17 h-s-l

基于 DeepFM 模型的广告推荐系统研究（郁等）

摘要

信息呈指数爆炸增长的时代，如何在这个信息千变万化的世界里获得用户想要的数据显得尤其重要。作者们提出了DeepFM模型并且实验结果发现，DeepFM模型比逻辑回归和因子分解机模型的效果都要好。

关键词

DeepFM 特征提取 广告推荐 深度神经网络 因子分解机

引言

1. 海量信息与人难以获得准确信息的矛盾现状
2. 广告推荐问题一般可理解为广告点击率问题（基于用户行为的预测问题）。难以解决的问题：数据量大、数据稀疏、异常数据等。复杂模型训练难度大，容易出现过拟合问题（模型越复杂，考虑参数影响因素越多，训练拟合越好），因此工业界一般使用较为浅层的模型，解决的主要问题就是特征工程。
   • 过拟合：模型过度拟合，在训练集（training set）上表现好，但是在测试集上效果差。训练时尽可能的兼顾每个数据，曲线过于完美，训练时数据分散，拟合效果差
   • 欠拟合：模型拟合不够，在训练集（training set）上表现效果差，没有充分的利用数据，预测的准确度低。
   • 防止过拟合的方法有：
     • 获取更多数据
     • 减少特征变量
     • 限制权值（正则化）
     • 贝叶斯方法
     • 结合多种模型
   • 其中最有效方法是获取更多数据，足够的数据能够让模型不断修正自己，获得更好的结果。
   • 防止欠拟合：
     • 引入新的特征
     • 添加多项式特征
     • 减少正则化参数

3. 针对文章参考文献分析，参考文献采用的模型及模型的发展

   相关理论

4. 逻辑回归：逻辑回归的基础与应用，点击预测分类（二分类方法）
5. 因子分解机：
   由公式知在线性回归模型后面加了一坨东西，主要用来做低阶特征组合。
   必要解释n代表样本的特征数量，x加上下标i是第i个特征的值，几个w为模型参数。写在一起的x则表示第i和第j个特征的组合，且两个数值都不为0时，组合才有意义。以上公式看出共有n(n-1)/2个组合特征。
   多项式公式是包含特征组合的最直观的模型，由于需要训练大量的参数（w加上下标ij的参数），但由于训练样本稀疏，x加上下标为i和x加上下标为j的特征值都不为0的更少，训练样本不足，导致训练参数不准，影响模型性能，所以引入以下隐向量
   二项式的参数从n(n-1)/2减少到Kn个。原来的二项式参数之间是相互独立的，采用隐向量点积形式组合成的二项式特征都可以用来学习隐向量。
   通过以下公式进行优化：可使时间复杂度从O(kn^2)下降到O(kn),计算量大大降低。
   
6. DeepFM

• 逻辑回归模型主要提取了一阶特征，FM模型在逻辑回归模型的基础上做了改进，受限于计算复杂度只提取到二阶组合特征。由于不能满足实际生产中需要提取二阶以上更高阶的需求，提出DeepFM模型。

  实验结果

1. 公开数据集-腾讯社交广告的公开数据集（用户数量800万，1个数值型特征，31个类别型特征（包含11个多值类别型特征）样本正负比例不平衡（正负比约1:20），评估方式采用AUC评分，AUC定义为ROC曲线下与坐标轴成的面积，ROC曲线的横纵坐标分别为假正率和真正率

2. 实验结果图和说明

   结束语