PNN网络（Product-based Neural Network）

Posted 2022-03-22 zhiyong_will

1. 概述

PNN（Product-based Neural Network）是在2016年提出的用于计算CTR问题的深度神经网络模型，PNN的网络结构对传统的FNN（Feedforward Neural Network）网络结构做了一些优化，使得其能够更适合处理CTR问题。在PNN网络模型中，主要的优化点为：

1. 通过Embedding层处理离散特征。Embedding层现在已经成为DNN模型处理CTR问题的标配；
2. 增加Product层，在Product Layer中，通过显式构造特征交叉，在不同的特征域之间进行特征组合，在实际的实施过程中，会有不同的product计算方法，在参考文献[1]中，提到了两种不同的product计算方法，分别为inner producr和outer product。

2. 算法原理

2.1. PNN的网络结构

PNN的网络结构如下图所示：

从网络结构上看，整个网络分成四层，第一层为特征Embedding层，第二层为Product层（PNN最为核心的部分）， 第三层与第四层是传统的全连接网络层，最后模型的输出层。其网络结构与传统的DNN网络结构基本一致，不同的就是比传统DNN网络结构增加了Product层，与传统DNN的网络结构对比如下图所示：

2.2. PNN网络的计算过程

从上到下最上层上PNN的输出层，PNN网络的输出为

$$\hat{y}=\sigma \left({\mathbf{W}}_3{\mathbf{l}}_2+b_3\right)$$

其中，${\mathbf{W}}_3\in {\mathbb{R}}^{1\times D_2}$和$b_3\in \mathbb{R}$是L2层到输出层的参数，${\mathbf{l}}_2\in {\mathbb{R}}^{D_2}$是L2层的输出，$D_2$为隐层L2层输出向量的维度，$\sigma$为输出层的激活函数，且是CTR计算中通常使用的激活函数，此处便不在赘述。L2层的输出${\mathbf{l}}_2$为：

$${\mathbf{l}}_2=relu\left({\mathbf{W}}_2{\mathbf{l}}_1+{\mathbf{b}}_2\right)$$

其中，${\mathbf{W}}_2\in {\mathbb{R}}^{D_2\times D_1}$和${\mathbf{b}}_2\in {\mathbb{R}}^{D_2}$为L1层到L2层的参数，${\mathbf{l}}_1\in {\mathbb{R}}^{D_1}$是L1层的输出，$D_1$为隐层L1层输出向量的维度，$relu$为L2层的激活函数。L1层的输出${\mathbf{l}}_1$为：

$${\mathbf{l}}_1=relu\left({\mathbf{l}}_z+{\mathbf{l}}_p+{\mathbf{b}}_1\right)$$

其中，${\mathbf{b}}_1\in {\mathbb{R}}^{D_1}$为Product层到L1层的参数。${\mathbf{l}}_z\in {\mathbb{R}}^{D_1}$为Product的线形部分，${\mathbf{l}}_p\in {\mathbb{R}}^{D_1}$ 为Product的特征交叉部分。${\mathbf{l}}_z$和${\mathbf{l}}_p$分别为：

$${\mathbf{l}}_z=\left(l_z^1,l_z^2,\cdots ,l_z^n,\cdots ,l_z^{D_1}\right),l_z^n={\mathbf{W}}_z^n\odot \mathbf{z}$$

$${\mathbf{l}}_p=\left(l_p^1,l_p^2,\cdots ,l_p^n,\cdots ,l_p^{D_1}\right),l_p^n={\mathbf{W}}_p^n\odot \mathbf{p}$$

其中，${\mathbf{W}}_{推荐系统PNN模型（Product-based\; Neural\; Networks）}$

推荐系统PNN模型（Product-based Neural Networks）

Python，为啥我的概率神经网络（PNN）总是预测零？

PNN神经网络(Matlab)

matlab --概率神经网PNN与广义回归神经网络GRNN

故障诊断分析基于matlab PNN概率神经网络柴油机故障诊断含Matlab源码 2343期