推荐系统（十九）Gate网络：百度GemNN（Gating-Enhanced Multi-Task Neural Networks）

Posted 2023-02-06 天泽28

推荐系统（十九）Gate网络（二）：百度GemNN（Gating-Enhanced Multi-Task Neural Networks）

推荐系统系列博客：

1. 推荐系统（一）推荐系统整体概览
2. 推荐系统（二）GBDT+LR模型
3. 推荐系统（三）Factorization Machines（FM）
4. 推荐系统（四）Field-aware Factorization Machines（FFM）
5. 推荐系统（五）wide&deep
6. 推荐系统（六）Deep & Cross Network（DCN）
7. 推荐系统（七）xDeepFM模型
8. 推荐系统（八）FNN模型（FM+MLP=FNN）
9. 推荐系统（九）PNN模型（Product-based Neural Networks）
10. 推荐系统（十）DeepFM模型
11. 推荐系统（十一）阿里深度兴趣网络（一）：DIN模型（Deep Interest Network）
12. 推荐系统（十二）阿里深度兴趣网络（二）：DIEN模型（Deep Interest Evolution Network）
13. 推荐系统（十三）阿里深度兴趣网络（三）：DSIN模型（Deep Session Interest Network）
14. 推荐系统（十四）多任务学习：阿里ESMM（完整空间多任务模型）
15. 推荐系统（十五）多任务学习：谷歌MMoE（Multi-gate Mixture-of-Experts ）
16. 推荐系统（十六）多任务学习：腾讯PLE模型（Progressive Layered Extraction model）
17. 推荐系统（十七）双塔模型：微软DSSM模型（Deep Structured Semantic Models）
18. 推荐系统（十八）Gate网络（一）：新浪微博GateNet

我司这篇文章老实讲，创新点是弱了点，这应该也是被SIGIR’21录用为短文的原因吧。个人认为这篇文章最让人感兴趣的反而不是这个模型结构，而是文章中笔墨不多的凤巢目前模型架构的一些trick，然而遗憾的是不知道是因为短文篇幅受限的原因还是不想过多描述的原因（大概率是这个原因），这部分没有被过多的介绍。

一、GemNN模型中Gate

图1. GemNN中gate

关于GemNN中gate如图1所示，他这里有三个显著的特点：1. gate的位置在embedding层到MLP全连接层之间。2. 他没有对每个feature单独做gate，而是把所有的feature拼接（concatenation）后，再做gate。3. gate的方式是bit-wise的。

关于第2个特点，可以形式化的来表述下。假设用$E=[e_1,e_2,...,e_n{]}^T$来表示concatenated embeddings，$n$表示特征的数量，$e_i\in R^d$表示每个field（比如『性别』作为一个feature，那么『男』就是为性别这个feature的一个field，同样『女』也是为一个filed）的embedding维度为$d$维。然后对$E$以bit-wise方式做gate，$G=[g_1,g_2,...,g_n{]}^T=act(W\ast E+b)$，$act(\cdot )$为激活函数，$W$的维度为$R^{(nd)\times (nd)}$。这个地方，$W$的维度需要好好理解下，我再来上个公式帮助大家理解：
$$\left[\begin{array}{c}{g}_1\\ g_2\\ ...\\ g_n\end{array}\right]=act(\left[\begin{array}{cccc}{w}_{1,1}& w_{1,2}& ...& w_{1,nd}\\ w_{2,1}& w_{2,2}& ...& w_{2,nd}\\ ...& ...& ...& ...\\ w_{nd,1}& w_{nd,2}& ...& w_{nd,nd}\end{array}\right]\cdot \left[\begin{array}{c}{e}_{1,1}\\ e_{1,2}\\ ...\\ e_{1,d}\\ ...\\ e_{n,1}\\ e_{n,2}\\ ...\\ e_{n,d}\end{array}\right]+[\begin{array}{c}{b}_1\\ 推荐系统（十九）Gate网络：百度GemNN（Gating-Enhanced\; Multi-Task\; Neural\; Networks）\\ b_2\\ ...\end{array}$$

推荐系统（十八）Gate网络：新浪微博GateNet

推荐系统（十八）Gate网络：新浪微博GateNet

推荐系统（十五）多任务学习：谷歌MMoE（Multi-gate Mixture-of-Experts ）

推荐系统（十五）多任务学习：谷歌MMoE（Multi-gate Mixture-of-Experts ）

推荐系统（十五）多任务学习：谷歌MMoE（Multi-gate Mixture-of-Experts ）