基于深度学习的推荐系统（一）Overview

时间 2019-11-24

标签基于深度学习推荐系统 overview 繁體版

原文原文链接

这是对近年来基于深度学习的推荐系统的内容的一份综述，具体来讲，大部份内容来自 Deep Learning based Recommender System: A Survey and New Perspectives，我翻译和总结了其中的一些内容。同时，我有时也会阅读该survey提到的工做的原文，并对某些更具体的内容作一些补充。算法

正文开始

深度学习近年来在各个领域都被普遍应用，推荐系统也不例外，那么，深度学习算法是如何与推荐系统联系起来的呢？文章旨在全面回顾最近基于深度学习的推荐系统的研究成果，并展望将来的趋势。网络

推荐系统是对信息爆炸的防线，对于用户的选择起到相当重要的做用。一般，咱们基于用户偏好，项目特征，用户历史以及时序数据和空间数据的一些其余附加信息来生成推荐列表。咱们把推荐系统分为协同过滤，content-based推荐系统和混合推荐系统。最近，基于深度学习的推荐系统经过克服传统模型的一些问题和实现高推荐质量而得到了显著的进步。深度学习可以有效地捕获非线性和非平凡的用户-项目关系，而且可以将数据表示为更复杂的抽象的编码。此外，它还从丰富的可访问数据源（如上下文，文本和可视信息）中捕获数据自己的错综复杂的关系。架构

近年来，基于深度学习的推荐方法的研究出版物数量呈指数增加，深度学习成为推荐系统研究中不可避免的部分。推荐系统领域领先的国际会议RecSys自2016年起开始按期进行深度学习推荐系统研讨会。该研讨会旨在促进研究并鼓励基于深度学习的推荐系统的应用。咱们应该了解学术界和工业界的深度学习模型的优缺点和应用场景。这篇survey调查的文章主要来自NIPS, ICML, ICLR, KDD, WWW, SIGIR, WSDM, RecSys等顶级会议，具备至关程度的表明性。该调查的目的是为从业人员提供一个快速查询的目录。该survey彷佛到目前为止还在不断更新，我这个系列只包括截止到2018.10.08的该survey中的内容。框架

首先，在讨论问题以前，咱们须要肯定咱们讨论的范围，并作一些预约义。机器学习

Overview of Recommendation Systems and Deep Learning

推荐系统估计user对item的偏好，并推荐user可能喜欢的item。咱们把推荐系统分为协同过滤，content-based推荐系统和混合推荐系统。协做过滤从user-item 交互历史中进行学习并做出推荐，其中交互行为包括显式反馈（例如，user对item的先前评分）或隐式反馈（例如，用户的浏览历史）。基于内容的推荐主要基于一些item和user的辅助信息，经过比较这些辅助信息能得出一些推荐结果。能够考虑各类辅助信息，例如文本，图像和视频。混合模型是指整合两种或更多种推荐策略的推荐系统模块化

符号定义

咱们设定以下讨论情景：咱们有个user和个item，是交互矩阵， $\hat{R}$ 是预测的交互矩阵。 $r_{ui}$ 表明用户对item 的偏好， $\hat{r_{ui}}$ 是模型预测的用户对item 的偏好。的某一行表明一个用户的偏好行为，表示为 $r^{(u)} = \{r^{u1}, r^{u2}, ..., r^{uN}\}$ 。的某一列表明一个item的被用户偏好行为，表示为 $r^{(i)} = \{r^{1i}, r^{2i}, ..., r^{Mi}\}$ 。和分别表明被观察到和未被观察到的交互行为。咱们另外使用 $U \in R^{M*K}$ 和 $V \in R^{N*K}$ 来表明user和item的latent factor（隐藏特征）。是隐特征的维数。函数

深度学习技术

深度学习一般被认为是机器学习的子领域。深度学习的典型定义是它学习深层表征，即从数据中学习多层次的表示和抽象。出于实际缘由，咱们将任何可分解为神经网络的架构视为“深度学习”，只要它使用随机梯度降低（SGD）的变体优化可微的目标函数。神经网络架构在监督和非监督学习任务中都取得了巨大的成功。在本小节中，咱们阐明了与本survey密切相关的各类架构范式。工具

Multilayer Perceptron (MLP)：多层感知器（MLP）是一种在输入层和输出层之间具备多个（一个或多个）隐藏层的前馈神经网络。这里，感知器可使用任意激活函数，并不必定是严格的二元分类器。 MLP能够被表示为非线性变换的堆叠层，学习分层特征表示。 MLP也被称为通用逼近器。
Autoencoder(AE)：自编码器（AE）是一种无监督模型，用于在输出层中重建其输入数据。一般，瓶颈层（最中间层）用做输入数据的特征表示。自编码器有许多变体，如去噪自编码器（denoising autoencoder），边缘化去噪自编码器（marginalized denoising autoencoder），稀疏自编码器（sparse autoencoder），收缩自编码器（contractive autoencoder）和变分自编码器（variational autoencoder，VAE）。
Convolutional Neural Network (CNN)：卷积神经网络（CNN）是一种特殊的前馈神经网络，具备卷积层和池化操做。它能够捕获全局和局部特征，并显著提升效率和准确性。它在处理具备网格状拓扑的数据方面表现良好。
Recurrent Neural Network (RNN) ：循环神经网络（RNN）适用于对sequential数据建模。与前馈神经网络不一样，RNN中存在循环和记忆结构以记住以前的计算结果。诸如长短时记忆（LSTM）和门控循环单元（GRU）网络的变体一般在实践中被部署以克服梯度消失问题。
Restricted Boltzmann Machine (RBM) ：受限玻尔兹曼机（RBM）是一个由可见层和隐藏层组成的双层神经网络。它能够很容易地堆叠到深网。此处Restricted意味着可见层或隐藏层中没有层内通讯。
Neural Autoregressive Distribution Estimation (NADE)：神经自回归分布估计（NADE）是一种在自回归模型和前馈神经网络之上构建的无监督神经网络。它是用于建模数据分布和密度的易处理且有效的估计器。
Adversarial Networks (AN) ：对抗网络（AN）是一种生成神经网络，由鉴别器和发生器组成。经过在极小极大游戏框架中相互竞争来同时训练两个神经网络。
Attentional Models (AM)：注意模型（AM）是一个技巧。注意机制一般无处不在，而且在计算机视觉和天然语言处理领域中被接受。然而，它也是深度推荐系统研究的新兴趋势。
Deep Reinforcement Learning (DRL)：深度强化学习。深度神经网络和强化学习的结合。

深度学习技术的优点

咱们总结了基于深度学习的推荐模型的优点：学习

非线性变换。与线性模型相反，深度神经网络可以利用非线性激活（例如relu，sigmoid，tanh等）对数据中的非线性进行建模。该属性使得捕获复杂且复杂的用户项交互模式成为可能。诸如MF，FM，稀疏线性模型的常规方法基本上是线性模型。
表征学习。深度神经网络有效地从输入数据中学习潜在的解释因素和有用的表示。一般，在实际应用程序中能够得到有关项目和用户的大量描述性信息。利用这些信息能够促进咱们对项目和用户的理解，从而产生更好的推荐者。所以，将深度神经网络应用于推荐模型中的表示学习是一种天然的选择。使用深度神经网络来辅助表示学习的优势有两方面：（1）它减小了手工特征设计的工做量。特征工程是一项劳动密集型工做，深度神经网络可以在无监督或监督的方法中自动从原始数据中学习特征; （2）它使推荐模型可以包括异构内容信息，例如文本，图像，音频甚至视频。深度网络在多媒体数据处理方面取得了突破，并展现了从各类来源学习的表现形式的潜力。
序列建模。深度神经网络已经在许多顺序建模任务上展现了但愿，例如机器翻译，天然语言理解，语音识别，聊天机器人等等。 RNN和CNN在这些任务中发挥着关键做用。 RNN经过内部存储状态来实现这一点，而CNN经过随着时间滑动的过滤器来实现这一点。它们在数据挖掘顺序结构中具备普遍的适用性和灵活性。
灵活性。深度学习技术具备很高的灵活性，特别是随着许多流行的深度学习框架的出现，如Tensorflow，Keras，Caffe，MXnet，DeepLearning4j，PyTorch，Theano等。这些工具大多以模块化方式开发并具备活跃的社区和专业的支持。良好的模块化使开发更有效率。例如，很容易将不一样的神经结构组合起来以造成强大的混合模型，或者用其余模块替换一个模块。所以，咱们能够轻松地构建混合和复合推荐模型，以同时捕获不一样的特征和因素。

深度学习技术潜在的劣势

解释性。尽管成功，可是深度学习工做机制如同黑盒，提供可解释的预测彷佛是一项很是具备挑战性的任务。反对深度神经网络的一个常见论点是隐藏的权重和激活一般是不可解释的，限制了可解释性。然而，随着神经元模型的出现，这种担心获得了一些缓解，现有的最早进模型已经可以在必定程度上解释意义，从而可以提供可解释的推荐。
数据要求。第二个可能的限制是，深度学习被认为是数据饥渴的，由于它须要足够的数据才能彻底支持其丰富的参数化。然而，与标记数据稀缺的其余领域（例如语言或视觉）相比，在推荐系统研究的背景下得到大量数据相对容易。百万/亿级别的数据集不只在工业中很常见，并且也做为学术数据集发布。
普遍的超参数调整。反对深度学习的第三个成熟论点是须要进行普遍的超参数调整。然而，咱们注意到，超参数调整不是深度学习的特有问题，而是通常的机器学习中都会出现的（例如，正规化因子和学习速率一样必须针对传统的矩阵分解等进行调整）。可是，在某些状况下，深度学习可能会引入额外的超参数。

深度学习推荐方法的分类

为了提供这个领域的鸟瞰，咱们根据所采用的深度学习技术的类型对现有模型进行分类。咱们进一步将基于深度学习的推荐模型分为如下两类。下图总结了分类方案。优化

Recommendation with Neural Building Blocks：使用单个深度学习方法的推荐。咱们按照以前的八种技术分类分别讨论不一样的推荐方法。
Recommendation with Deep Hybrid Models：混合模型。

表1列出了全部已被调查的模型，咱们按照上述分类方案对其进行组织。此外，咱们还从表2中的任务角度总结了一些publications。咱们调查的publications涉及各类推荐任务。因为使用深度神经网络（例如基于会话的推荐，图像，视频推荐），一些原来不常见的任务已开始受到关注。一些任务对于推荐研究领域可能并不新颖，但DL提供了更多找到更好解决方案的可能性。例如，若是没有深度学习技巧的帮助，处理图像和视频将是一项艰巨的任务。而深度神经网络的序列建模功能能够轻松捕获用户行为的顺序模式。

咱们将在以后的博客中讨论这些方法的具体细节。这个survey目前的参考文献列表以下，感兴趣的读者能够本身索引文章：