《推荐系统》-PNN模型

一、原理

PNN，全称为Product-based Neural Network，认为在embedding输入到MLP以后学习的交叉特征表达并不充分，提出了一种product layer的思想，既基于乘法的运算来体现体征交叉的DNN网络结构，以下图：

图一、Product-based Neural Network Architecture

按照论文的思路，咱们也从上往下来看这个网络结构：

输出层

输出层很简单，将上一层的网络输出经过一个全连接层，通过sigmoid函数转换后映射到(0,1)的区间中，获得咱们的点击率的预测值：
$\hat{y}=\sigma (W_3{l}_2+b_3)$

l2层

根据l1层的输出，经一个全连接层 ，并使用relu进行激活，获得咱们l2的输出结果：
$l_2=relu(W_2{l}_1+b_2)$

l1层

l1层的输出由以下的公式计算：
$l_1=relu(l_z+l_p+b_1)$

重点立刻就要来了，咱们能够看到在获得l1层输出时，咱们输入了三部分，分别是lz，lp 和 b1，b1是咱们的偏置项，这里能够先无论。lz和lp的计算就是PNN的精华所在了。咱们慢慢道来:

Product Layer

product思想来源于，在ctr预估中，认为特征之间的关系更可能是一种and“且”的关系，而非add"加”的关系。例如，性别为男且喜欢游戏的人群，比起性别男和喜欢游戏的人群，前者的组合比后者更能体现特征交叉的意义。

product layer能够分红两个部分，一部分是线性部分lz，一部分是非线性部分lp。两者的形式以下：
$l_z=(l_z^1,l_z^2...l_z^n...l_z^{D1}),l_z^n=W_z^n\odot z$

$l_p=(l_p^1,l_p^2...l_p^n...l_p^{D1}),l_p^n=W_p^n\odot z$

在这里，咱们要使用到论文中所定义的一种运算方式，其实就是矩阵的点乘啦：
$A\odot B=\sum A_{i,j}{B}_{i,j}$

Embedding Layer

Embedding Layer跟DeepFM中相同，将每个field的特征转换成一样长度的向量，这里用f来表示。
$(f_1,f_1...f_N)$

损失函数

使用和逻辑回归一样的损失函数，以下：
$L(y,\hat{y})=-ylog\hat{y}-(1-y)log(1-\hat{y})$

二、Product Layer详细介绍

前面提到了，product layer能够分红两个部分，一部分是线性部分lz，一部分是非线性部分lp。看product layer的公式，咱们首先须要知道z和p，这都是由咱们的embedding层获得的，其中z是线性信号向量，所以咱们直接用embedding层获得：
$z=(z_1,z_2...z_N)\doteq (f_1,f_2...f_N)$

论文中使用的等号加一个三角形，其实就是相等的意思，你能够认为z就是embedding层的复制。

对于p来讲，这里须要一个公式进行映射：
$p=p_{i,j},i=1...N,j=1...N$

$p_{i,j}=g(f_i,f_j)$

不一样的g的选择使得咱们有了两种PNN的计算方法，一种叫作Inner PNN，简称IPNN，一种叫作Outer PNN，简称OPNN。

接下来，咱们分别来具体介绍这两种形式的PNN模型，因为涉及到复杂度的分析，因此咱们这里先定义Embedding的大小为M，field的大小为N，而lz和lp的长度为D1。

2.1 IPNN

IPNN的示意图以下：
图二、IPNN

IPNN中p的计算方式以下，即便用内积来表明p_{i,j} ：
$g(f_i,f_j)=<f_i,f_j>$

因此，p_{i,j} 实际上是一个数，获得一个p_{i,j} 的时间复杂度为M，p的大小为NN，所以计算获得p的时间复杂度为NNM。而再由p获得lp的时间复杂度是NND1。所以 对于IPNN来讲，总的时间复杂度为NN(D1+M)。文章对这一结构进行了优化，能够看到，咱们的p是一个对称矩阵，所以咱们的权重也能够是一个对称矩阵，对称矩阵就能够进行以下的分解：
$W_p^n={\theta }^n{\theta }^{nT}$

所以：
$l_p^n=W_p^n\odot p={\sum }_{i=1}^n{\sum }_{j=1}^n<f_i,f_j>=<{\sum }_{i=1}^n{\delta }_i^n,{\sum }_{i=1}^n{\delta }_i^n>$

${\delta }_i^n={\theta }_i^n{f}_i$

所以：
${\delta }_n=({\delta }_1^n,{\delta }_2^n...{\delta }_i^n...{\delta }_N^n)\in R^{N\times M}$

从而获得：
$l_p=(||{\sum }_i{\delta }_i^1||...||{\sum }_i{\delta }_i^n||...||{\sum }_i{\delta }_i^{D1}||)$

能够看到，咱们的权重只须要D1 * N就能够了，时间复杂度也变为了D1MN。

2.2OPNN

OPNN的示意图以下：

图三、OPNN

OPNN中p的计算方式以下：
$p_{i,j}=g(f_i,f_j)=f_i{f}_j^T$

此时$p_{i,j}$ 为MM的矩阵，计算一个$p_{i,j}$ 的时间复杂度为MM，而p是NNMM的矩阵，所以计算p的事件复杂度为NNMM。从而计算lp的时间复杂度变为D1 * NNM*M。这个显然代价很高的。为了减小负责度，论文使用了叠加的思想，它从新定义了p矩阵：
$p={\sum }_{i=1}^N{\sum }_{j=1}^N{f}_i{f}_j^T=f_{\sum }(f_{\sum }{)}^T,f_{\sum }={\sum }_{i=1}^N{f}_i$

这里计算p的时间复杂度变为了D1M(M+N)

参考文献：
论文：Product-based Neural Networks for User Response Prediction

推荐系统中使用ctr排序的f(x)的设计-dnn篇之PNN模型

推荐系统赶上深度学习(六)–PNN模型理论和实践

推荐好文： 深度学习在CTR预估中的应用