19推荐系统8PNN模型——加强特征交叉能力

Posted 2021-09-09 炫云云

文章目录

• • 1、前言
  • 2、网络架构
  • • 2.1 IPNN
  • 2.2 OPNN
  • 参考

1、前言

NeuralCF模型的主要思想是利用多层神经网络替代经典协同过滤的点积操作，加强模型的表达能力。广义上，任何向量之间的交互计算方式都可以用来替代协同过滤的内积操作，相应的模型可称为广义的矩阵分解模型。但NeuralCF模型只提到了用户向量和物品向量两组特征向量，如果加入多组特征向量又该如何设计特征交互的方法呢? PNN模型给出了特征交互方式的几种设计思路。

2、网络架构

PNN模型的提出同样是为了解决CTR预估和推荐系统的问题。图1所示为模型结构图，相比Deep Crossing模型，PNN模型在输入、Embedding 层、多层神经网络，以及最终的输出层部分并没有结构上的不同，唯一的区别在于PNN模型用乘积层( Product Layer)代替了Deep Crossing模型中的Stacking层。也就是说，不同特征的Embedding向量不再是简单的拼接，而是用Product 操作进行两两交互，更有针对性地获取特征之间的交叉信息。

$$图1：PNN模型结构图$$
从上往下来看这个网络结构：

1. 输出层

输出层很简单，将上一层的网络输出$l_2\in {\mathbb{R}}^{D_2}$通过一个全链接层，经过sigmoid函数转换后映射到(0,1)的区间中，得到我们的点击率的预测值：
$$\hat{y}=\sigma \left({\mathbf{W}}_3{\mathbf{l}}_2+b_3\right),\text{\hspace{1em}(1)}$$
2. L2层

根据L1层的输出，经一个全链接层 ，并使用relu进行激活，得到L2的输出结果：
$${\mathbf{l}}_2=\mathrm{relu}\left({\mathbf{W}}_2{\mathbf{l}}_1+{\mathbf{b}}_2\right)\text{\hspace{1em}(2)}$$
3. L1层

L1层的输出由如下的公式计算：
$$l_1=\mathrm{relu}\left(l_z+l_p+b_1\right)\text{\hspace{1em}(3)}$$
L1层与 product layer完全连接。它的输入包括线性信号$l_z$和二次信号$l_p.$​b1是偏置项。

4. Product Layer

product思想来源于，在ctr预估中，认为特征之间的关系更多是一种and“且”的关系，而非add"加”的关系。例如，性别为男且喜欢游戏的人群，比起性别男和喜欢游戏的人群，前者的组合比后者更能体现特征交叉的意义。

定义张量内积的运算:
$$\mathbf{A}\odot \mathbf{B}\triangleq \sum _{i,j}{\mathbf{A}}_{i,j}{\mathbf{B}}_{i,j}\text{\hspace{1em}(4)}$$
首先对$\mathbf{A}，\mathbf{B}$进行元素乘法，然后将乘法结果求和为一个标量。之后，$l_z$和$l_p$分别通过$z$和$p$计算:
$$\begin{array}{ll}{l}_z=\left(l_z^1,l_z^2,\dots ,l_z^n,\dots ,l_z^{D_1}\right),& l_z^n={\mathbf{W}}_z^n\odot \mathbf{z}\\ l_p=\left(l_p^1,l_p^2,\dots ,l_p^n,\dots ,l_p^{D_1}\right),& l_p^n={\mathbf{W}}_p^n\odot \mathbf{p}\end{array}\text{\hspace{1em}(5)}$$
其中${\mathbf{W}}_z^n$和${\mathbf{W}}_p^n$是乘积层的权重，它们的形状分别由$z$和$p$​决定。

通过引入“1”常数信号，乘积层不仅可以产生二次信号$p$，还可以保持线性信号$z$，如图1所示。更具体的
$$\begin{array}{rl}& 19推荐系统13FNN——TensorFlow2实现\\ & \end{array}$$

19推荐系统12FM——TensorFlow2实现

19推荐系统9Wide&Deep

推荐系统实践与思考-20201107

19推荐系统4DeeoCrossing

19推荐系统2矩阵分解算法——协同过滤的进化