Deep Learning 论文解读——Session-based Recommendations with Recurrent Neural Networks

博客地址：http://www.cnblogs.com/daniel-D/p/5602254.html

新浪微博：http://weibo.com/u/2786597434

欢迎多多交流~

Main Idea

这篇论文的工做是讲 RNN 应用到推荐系统中，想法在于把一个 session 点击一系列 item 的行为看作一个序列，用来训练一个 RNN 模型。在预测阶段，把 session 已知的点击序列做为输入，用 softmax 预测该session下一个最有可能点击的item。论文想法虽然很朴素很直白，可是目前这类直接用deep learning的结构来作推荐的论文很是少（RBM除外），所以值得仔细研读。

Architecture

论文采用了 RNN 中的 GRU 单元做为基本结构，组建了一个深层的神经网络来预测该session下一个点击的item 的几率。好比item拥有 2w 个，那么经过 1-of-N coding 的方式（one hot encoding），神经网络的第一层就有2w个节点，而后经过第二层embedding层压缩为低维连续向量（假设200维），固然最开始这些向量都是随机初始化的。embedding这一层其实是一个 2w * 200的矩阵字典，每一行 200 维的向量就是一个item的presentation。这200维向量可做为 stacked GRU 的输入，获得低维连续的输出（200维），而后经过与 一个 200 * 2w 的矩阵相乘，获得了下一个点击的item在 2w 个节点中的预测几率，总体而言，这是一个 sequence to sequence 的预测问题。

为了更好的并行计算，论文采用了mini-batch的处理，即把不一样的session拼接起来，同一个sequence遇到下一个Session时，要注意将 GRU 中的一些向量从新初始化。由于item的维度很是高，每次要预测 2w 个item 的几率会致使计算量庞大，所以原则上只选取当前的正样本（即下一个点击的item）加上随机抽取的负样本。论文采用了取巧的方法来减小采样须要的计算量，即选取了同一个 mini-batch 中其余sequence下一个点击的item做为负样本，用这些正负样原本训练整个神经网络。

Loss Function

做者尝试了 常见的 point-wise rank loss，即认为负样本为 0， 正样本为 1 的loss function，发现训练出来的模型并不稳定，缘由可能由于在推荐里面，并不存在绝对的正样本和负样本。在同一个情景里面，用户只能点击一个最偏好的item，对其余item可能也存在偏好，这并非一个非黑即白的classification问题。而后做者尝试了 pair-wise rank loss，而且对于负样本的分数进行了近0约束，防止训练过程当中分数相互“攀比”的情形下全部的预测分数都愈来愈高。实际上，我认为这种约束方法近似于对 权重进行了 L2 约束。 

Results

论文在 recSys2015 竞赛的数据集上进行了点击item的预测评比，对比的方法有 pop 、s-pop 、item-knn以及 BPR-MF，评测标准有 MRR@20 和 Recall@20，貌似都取得了不错的效果。

一些想法

a、最后一层很重要，最后一层隐层实际是前面点击序列的embedding结果，能够看作 user 向量。输出层某个节点表示一个item，与之相连的实际是item的向量。

b、user 向量只用到了item序列，item和user自己的profile属性是否能够应用到模型里来？