大众点评搜索基于知识图谱的深度学习排序实践

1. 引言

挑战与思路

搜索是大众点评App上用户进行信息查找的最大入口，是链接用户和信息的重要纽带。而用户搜索的方式和场景很是多样，而且因为对接业务种类多，流量差别大，为大众点评搜索（下文简称点评搜索）带来了巨大的挑战，具体体如今以下几个方面：

1. 意图多样：用户查找的信息类型和方式多样。信息类型包括POI、榜单、UGC、攻略、达人等。以找店为例，查找方式包括按距离、按热度、按菜品和按地理位置等多种方式。例如用户按照品牌进行搜索时，大几率是须要寻找距离最近或者常去的某家分店；但用户搜索菜品时，会对菜品推荐人数更加敏感，而距离因素会弱化。
2. 业务多样：不一样业务之间，用户的使用频率、选择难度以及业务诉求均不同。例如家装场景用户使用频次很低，行为很是稀疏，距离因素弱，而且选择周期可能会很长；而美食多为即时消费场景，用户行为数据多，距离敏感。
3. 用户类型多样：不一样的用户对价格、距离、口味以及偏好的类目之间差别很大；搜索须要能深度挖掘到用户的各类偏好，实现定制化的“千人千面”的搜索。
4. LBS的搜索：相比电商和通用搜索，LBS的升维效应极大地增长了搜索场景的复杂性。例如对于旅游用户和常驻地用户来讲，前者在搜索美食的时候可能会更加关心当地的知名特点商户，而对于距离相对不敏感。

上述的各项特性，叠加上时间、空间、场景等维度，使得点评搜索面临比通用搜索引擎更加独特的挑战。而解决这些挑战的方法，就须要升级NLP（Natural Language Processing，天然语言处理）技术，进行深度查询理解以及深度评价分析，并依赖知识图谱技术和深度学习技术对搜索架构进行总体升级。在美团NLP中心以及大众点评搜索智能中心两个团队的紧密合做之下，通过短短半年时间，点评搜索核心KPI在高位基础上仍然大幅提高，是过去一年半涨幅的六倍之多，提早半年完成整年目标。

基于知识图谱的搜索架构重塑

美团NLP中心正在构建全世界最大的餐饮娱乐知识图谱——美团大脑（相关信息请参见《美团大脑：知识图谱的建模方法及其应用》）。它充分挖掘关联各个场景数据，用NLP技术让机器“阅读”用户公开评论，理解用户在菜品、价格、服务、环境等方面的喜爱，构建人、店、商品、场景之间的知识关联，从而造成一个“知识大脑”[1]。经过将知识图谱信息加入到搜索各个流程中，咱们对点评搜索的总体架构进行了升级重塑，图1为点评搜索基于知识图谱搭建的5层搜索架构。本篇文章是“美团大脑”系列文章第二篇（系列首篇文章请参见《美团餐饮娱乐知识图谱——美团大脑揭秘》)，主要介绍点评搜索5层架构中核心排序层的演变过程，文章主要分为以下3个部分：

1. 核心排序从传统机器学习模型到大规模深度学习模型的演进。
2. 搜索场景深度学习排序模型的特征工程实践。
3. 适用于搜索场景的深度学习Listwise排序算法——LambdaDNN。

2. 排序模型探索与实践

搜索排序问题在机器学习领域有一个单独的分支，Learning to Rank（L2R）。主要分类以下:

1. 根据样本生成方法和Loss Function的不一样，L2R能够分为Pointwise、Pairwise、Listwise。
2. 按照模型结构划分，能够分为线性排序模型、树模型、深度学习模型，他们之间的组合（GBDT+LR，Deep&Wide等）。

在排序模型方面，点评搜索也经历了业界比较广泛的迭代过程：从早期的线性模型LR，到引入自动二阶交叉特征的FM和FFM，到非线性树模型GBDT和GBDT+LR，到最近全面迁移至大规模深度学习排序模型。下面先简单介绍下传统机器学习模型（LR、FM、GBDT）的应用和优缺点，而后详细介绍深度模型的探索实践过程。

传统机器学习模型

1. LR能够视做单层单节点的线性网络结构。模型优势是可解释性强。一般而言，良好的解释性是工业界应用实践比较注重的一个指标，它意味着更好的可控性，同时也能指导工程师去分析问题优化模型。可是LR须要依赖大量的人工特征挖掘投入，有限的特征组合天然没法提供较强的表达能力。
2. FM能够看作是在LR的基础上增长了一部分二阶交叉项。引入自动的交叉特征有助于减小人工挖掘的投入，同时增长模型的非线性，捕捉更多信息。FM可以自动学习两两特征间的关系，但更高量级的特征交叉仍然没法知足。
3. GBDT是一个Boosting的模型，经过组合多个弱模型逐步拟合残差获得一个强模型。树模型具备自然的优点，可以很好的挖掘组合高阶统计特征，兼具较优的可解释性。GBDT的主要缺陷是依赖连续型的统计特征，对于高维度稀疏特征、时间序列特征不能很好的处理。

深度神经网络模型

随着业务的发展，在传统模型上取得指标收益变得愈发困难。同时业务的复杂性要求咱们引入海量用户历史数据，超大规模知识图谱特征等多维度信息源，以实现精准个性化的排序。所以咱们从2018年下半年开始，全力推动L2核心排序层的主模型迁移至深度学习排序模型。深度模型优点体如今以下几个方面：

1. 强大的模型拟合能力：深度学习网络包含多个隐藏层和隐藏结点，配合上非线性的激活函数，理论上能够拟合任何函数，所以十分适用于点评搜索这种复杂的场景。
2. 强大的特征表征和泛化能力：深度学习模型能够处理不少传统模型没法处理的特征。例如深度网络能够直接中从海量训练样本中学习到高维稀疏ID的隐含信息，并经过Embedding的方式去表征；另外对于文本、序列特征以及图像特征，深度网络均有对应的结构或者单元去处理。
3. 自动组合和发现特征的能力：华为提出的DeepFM，以及Google提出的DeepCrossNetwork能够自动进行特征组合，代替大量人工组合特征的工做。

下图是咱们基于Google提出的Wide&Deep模型搭建的网络结构[2]。其中Wide部分输入的是LR、GBDT阶段经常使用的一些细粒度统计特征。经过较长周期统计的高频行为特征，可以提供很好的记忆能力。Deep部分经过深层的神经网络学习Low-Order、高纬度稀疏的Categorical型特征，拟合样本中的长尾部分，发现新的特征组合，提升模型的泛化能力。同时对于文本、头图等传统机器学习模型难以刻画的特征，咱们能够经过End-to-End的方式，利用相应的子网络模型进行预处理表示，而后进行融合学习。

3. 搜索深度排序模型的特征工程实践

深度学习的横空出世，将算法工程师从不少人工挖掘和组合特征的事情中解放出来。甚至有一种论调，专作特征工程的算法工程师可能面临着失业的风险。可是深度学习的自动特征学习目前主要集中体如今CV领域，CV领域的特征数据是图片的像素点——稠密的低阶特征，深度学习经过卷积层这个强力工具，能够自动对低阶特征进行组合和变换，相比以前人工定义的图像特征从效果上来讲确实更加显著。在NLP领域由于Transformer的出现，在自动特征挖掘上也有了长足的进步，BERT利用Transformer在多个NLP Task中取得了State-of-The-Art的效果。

可是对于CTR预估和排序学习的领域，目前深度学习还没有在自动特征挖掘上对人工特征工程造成碾压之势，所以人工特征工程依然很重要。固然，深度学习在特征工程上与传统模型的特征工程也存在着一些区别，咱们的工做主要集中在以下几个方面。

3.1 特征预处理

• 特征归一化：深度网络的学习几乎都是基于反向传播，而此类梯度优化的方法对于特征的尺度很是敏感。所以，须要对特征进行归一化或者标准化以促使模型更好的收敛。
• 特征离散化：工业界通常不多直接使用连续值做为特征，而是将特征离散化后再输入到模型中。一方面由于离散化特征对于异常值具备更好的鲁棒性，其次能够为特征引入非线性的能力。而且，离散化能够更好的进行Embedding，咱们主要使用以下两种离散化方法：
  • 等频分桶：按样本频率进行等频切分，缺失值能够选择给一个默认桶值或者单独设置分桶。
  • 树模型分桶：等频离散化的方式在特征分布特别不均匀的时候效果每每很差。此时能够利用单特征结合Label训练树模型，以树的分叉点作为切分值，相应的叶子节点做为桶号。
• 特征组合：基于业务场景对基础特征进行组合，造成更丰富的行为表征，为模型提供先验信息，可加速模型的收敛速度。典型示例以下：
  • 用户性别与类目之间的交叉特征，可以刻画出不一样性别的用户在类目上的偏好差别，好比男性用户可能会较少关注“丽人”相关的商户。
  • 时间与类目之间的交叉特征，可以刻画出不一样类目商户在时间上的差别，例如，酒吧在夜间会更容易被点击。

3.2 万物皆可Embedding

深度学习最大的魅力在于其强大的特征表征能力，在点评搜索场景下，咱们有海量的用户行为数据，有丰富的商户UGC信息以及美团大脑提供的多维度细粒度标签数据。咱们利用深度学习将这些信息Embedding到多个向量空间中，经过Embedding去表征用户的个性化偏好和商户的精准画像。同时向量化的Embedding也便于深度模型进一步的泛化、组合以及进行类似度的计算。

3.2.1 用户行为序列的Embedding

用户行为序列（搜索词序列、点击商户序列、筛选行为序列）包含了用户丰富的偏好信息。例如用户筛选了“距离优先”时，咱们可以知道当前用户颇有多是一个即时消费的场景，而且对距离较为敏感。行为序列特征通常有以下图所示的三种接入方式:

• Pooling：序列Embedding后接入Sum/Average Pooling层。此方式接入成本低，但忽略了行为的时序关系。
• RNN：LSTM/GRU接入，利用循环网络进行聚合。此方式可以考虑行为序列的时序关系；代价是增大了模型复杂度，影响线上预测性能。
• Attention：序列Embedding后引入Attention机制，表现为加权的Sum Pooling；相比LSTM/GRU计算开销更低[4]。

同时，为了突显用户长期偏好和短时间偏好对于排序的不一样影响，咱们按照时间维度对行为序列进行了划分：Session、半小时、一天、一周等粒度，也在线上取得了收益。

3.2.2 用户ID的Embedding

一种更常见的刻画用户偏好的方式，是直接将用户ID通过Embedding后做为特征接入到模型中，可是最后上线的效果却不尽如人意。经过分析用户的行为数据，咱们发现至关一部分用户ID的行为数据较为稀疏，致使用户ID的Embedding没有充分收敛，未能充分刻画用户的偏好信息。

Airbnb发表在KDD 2018上的文章为这种问题提供了一种解决思路[9]——利用用户基础画像和行为数据对用户ID进行聚类。Airbnb的主要场景是为旅游用户提供民宿短租服务，通常用户一年旅游的次数在1-2次之间，所以Airbnb的用户行为数据相比点评搜索会更为稀疏一些。

如上图所示，将用户画像特征和行为特征进行离散分桶，拼接特征名和所属桶号，获得的聚类ID为：US_lt1_pn3_pg3_r3_5s4_c2_b1_bd2_bt2_nu3。

咱们也采起了相似Airbnb的方案，稀疏性的问题获得了很好的解决，而且这样作还得到了一些额外的收益。点评搜索做为一个本地化的生活信息服务平台，大部分用户的行为都集中本身的常驻地，致使用户到达一个新地方时，排序个性化明显不足。经过这种聚类的方式，将异地有相同行为的用户汇集在一块儿，也能解决一部分跨站的个性化问题。

3.2.3 商户信息Embedding

商户Embedding除了能够直接将商户ID加入模型中以外，美团大脑也利用深度学习技术对UGC进行大量挖掘，对商家的口味、特点等细粒度情感进行充分刻画，例以下图所示的“好停车”、“菜品精致”、“愿意再次光顾”等标签。

这些信息与单纯的商户星级、点评数相比，刻画的角度更多，粒度也更细。咱们将这些标签也进行Embedding并输入到模型中：

• 直连：将标签特征作Pooling后直接输入模型。这种接入方式适合端到端的学习方式；但受输入层大小限制，只能取Top的标签，容易损失抽象实体信息。
• 分组直连：相似于直链接入的方式，可是先对标签进行分类，如菜品/风格/口味等类别；每一个分类取Top N的实体后进行Pooling生成不一样维度的语义向量。与不分组的直连相比，可以保留更多抽象信息。
• 子模型接入：能够利用DSSM模型，以标签做为商户输入学习商户的Embedding表达。此种方式可以最大化保留标签的抽象信息，可是线上实现和计算成本较高。

3.2.4 加速Embedding特征的收敛

在咱们的深度学习排序模型中，除了Embedding特征，也存在大量Query、Shop和用户维度的强记忆特征，可以很快收敛。而Embedding特征是更为稀疏的弱特征，收敛速度较慢，为了加速Embedding特征的收敛，咱们尝试了以下几种方案：

• 低频过滤：针对出现频率较低的特征进行过滤，能够很大程度上减小参数量，避免过拟合。
• 预训练：利用多类模型对稀疏Embedding特征进行预训练，而后进入模型进行微调：
  • 经过无监督模型如Word2vec、Fasttext对用户-商户点击关系建模，生成共现关系下的商户Embedding。
  • 利用DSSM等监督模型对Query-商户点击行为建模获得Query和商户的Embedding。
• Multi-Task：针对稀疏的Embedding特征，单独设置一个子损失函数，以下图所示。此时Embedding特征的更新依赖两个损失函数的梯度，而子损失函数脱离了对强特征的依赖，能够加快Embedding特征的收敛。

3.3 图片特征

图片在搜索结果页中占据了很大的展现面积，图片质量的好坏会直接影响用户的体验和点击，而点评商户首图来自于商户和用户上传的图片，质量良莠不齐。所以，图片特征也是排序模型中较为重要的一类。目前点评搜索主要用了如下几类图片特征：

• 基础特征：提取图片的亮度、色度饱和度等基础信息，进行特征离散化后获得图片基础特征。
• 泛化特征：使用ResNet50进行图片特征提取[3]，经过聚类获得图片的泛化特征。
• 质量特征：使用自研的图片质量模型，提取中间层输出，做为图片质量的Embedding特征。
• 标签特征：提取图片是不是食物、环境、价目表、Logo等做为图片分类和标签特征。

4. 适用于搜索场景的深度学习Listwise排序算法—LambdaDNN

4.1 搜索业务指标与模型优化目标的Gap

一般模型的预测目标与业务指标总会存在一些Gap。若是模型的预测目标越贴近业务目标，越能保证模型优化的同时业务指标也可以有相应的提高；反之则会出现模型离线指标提高，但线上关键业务指标提高不明显，甚至出现负向的问题。工业届大部分深度学习排序采用Pointwise的Log Loss做为损失函数，与搜索业务指标有较大的Gap。体如今以下两个方面：

1. 搜索业务经常使用的指标有QV_CTR或者SSR(Session Success Rate)，更关心的是用户搜索的成功率（有没有发生点击行为）；而Pointwise的Log Loss更可能是关注单个Item的点击率。
2. 搜索业务更关心排在页面头部结果的好坏，而Pointwise的方法则对于全部位置的样本一视同仁。

基于上述理由，咱们对于深度学习模型的损失函数进行了优化。

4.2 优化目标改进-从Log Loss到NDCG

为了让排序模型的优化目标尽可能贴近搜索业务指标，须要按照Query计算损失，且不一样位置的样本具备不一样的权重。搜索系统经常使用的指标NDCG(Normalized Discounted Cumulative Gain)相较于Log Loss显然更贴近搜索业务的要求，NDCG计算公式以下：

累加部分为DCG(Discounted Cumulative Gain)表示按照位置折损的收益，对于Query下的结果列表l，函数G表示对应Doc的相关度分值，一般取指数函数，即G(l_j)=2^l_j-1（l_j表示的是相关度水平，如{0，1，2}）；函数 η 即位置折损，通常采用 η(j)=1/log(j+1)，Doc与Query的相关度越高且位置越靠前则DCG值会越大。另外，一般咱们仅关注排序列表页前k位的效果，Z_k 表示 DCG@k 的可能最大值，以此进行归一化处理后获得的就是NDCG@k。

问题在于NDCG是一个到处非平滑的函数，直接以它为目标函数进行优化是不可行的。LambdaRank提供了一种思路：绕过目标函数自己，直接构造一个特殊的梯度，按照梯度的方向修正模型参数，最终能达到拟合NDCG的方法[6]。所以，若是咱们能将该梯度经过深度网络进行反向传播，则能训练一个优化NDCG的深度网络，该梯度咱们称之为Lambda梯度，经过该梯度构造出的深度学习网络称之为LambdaDNN。

要了解Lambda梯度须要引入LambdaRank。LambdaRank模型是经过Pairwise来构造的，一般将同Query下有点击样本和无点击样本构形成一个样本Pair。模型的基本假设以下式所示，令P_ij为同一个Query下Doc_i相比Doc_j更相关的几率，其中s_i和s_j分别为Doc_i和Doc_j的模型得分：

使用交叉熵为损失函数，令S_ij表示样本Pair的真实标记，当Doc_i比Doc_j更相关时（即Doc_i有被用户点击，而Doc_j没有被点击），有S_ij=1，不然为-1；则损失函数能够表示为：

在构造样本Pair时，咱们能够始终令i为更相关的文档，此时始终有S_ij≡1，代入上式并进行求导，则损失函数的梯度为：

到目前为止，损失函数的计算过程当中并未考虑样本所在的位置信息。所以进一步对梯度进行改造，考虑Doc_i和Doc_j交换位置时的NDCG值变化，下式即为前述的Lambda梯度。能够证实，经过此种方式构造出来的梯度通过迭代更新，最终能够达到优化NDCG的目的。

Lambda梯度的物理意义以下图所示。其中蓝色表示更相关（用户点击过）的文档，则Lambda梯度更倾向于位置靠上的Doc获得的提高更大（如红色箭头所示）。有了Lambda梯度的计算方法，训练中咱们利用深度网络预测同Query下的Doc得分，根据用户实际点击Doc的状况计算Lambda梯度并反向传播回深度网络，则能够获得一个直接预测NDCG的深度网络。

4.3 LambdaDNN的工程实施

咱们利用TensorFlow分布式框架训练LambdaDNN模型。如前文所述，Lambda梯度须要对同Query下的样本进行计算，可是正常状况下全部的样本是随机Shuffle到各个Worker的。所以咱们须要对样本进行预处理：

1. 经过QueryId进行Shuffle，将同一个Query的样本聚合在一块儿，同一个Query的样本打包进一个TFRecord。
2. 因为每次请求Query召回的Doc数不同，对于可变Size的Query样本在拉取数据进行训练时须要注意，TF会自动补齐Mini-Batch内每一个样本大小一致，致使输入数据中存在大量无心义的默认值样本。这里咱们提供两点处理方式：
   • MR过程当中对Key进行处理，使得多个Query的样本聚合在一块儿，而后在训练的时候进行动态切分。
   • 读取到补齐的样本，根据设定的补齐标记获取索引位，去除补齐数据。

为了提高训练效率，咱们与基础研发平台数据平台中心紧密协同，一块儿探索并验证了多项优化操做：

1. 将ID类特征的映射等操做一并在预处理中完成，减小多轮Training过程当中的重复计算。
2. 将样本转TfRecord，利用RecordDataSet方式读取数据并计算处理，Worker的计算性能大概提高了10倍。
3. Concat多个Categorical特征，组合成Multi-Hot的Tensor进行一次Embedding_Lookup操做，减小Map操做的同时有助于参数作分片存储计算。
4. 稀疏Tensor在计算梯度以及正则化处理时保留索引值，仅对有数值的部分进行更新操做。
5. 多个PS服务器间进行分片存储大规模Tensor变量，减小Worker同步更新的通信压力，减小更新阻塞，达到更平滑的梯度更新效果。

总体下来，对于30亿左右的样本量、上亿级别的特征维度，一轮迭代大概在半小时内完成。适当的增长并行计算的资源，能够达到分钟级的训练任务。

4.4 进一步改进优化目标

NDCG的计算公式中，折损的权重是随着位置呈指数变化的。然而实际曝光点击率随位置变化的曲线与NDCG的理论折损值存在着较大的差别。

对于移动端的场景来讲，用户在下拉滑动列表进行浏览时，视觉的焦点会随着滑屏、翻页而发生变更。例如用户翻到第二页时，每每会从新聚焦，所以，会发现第二页头部的曝光点击率其实是高于第一页尾部位置的。咱们尝试了两种方案去微调NDCG中的指数位置折损：

1. 根据实际曝光点击率拟合折损曲线：根据实际统计到的曝光点击率数据，拟合公式替代NDCG中的指数折损公式，绘制的曲线如图12所示。
2. 计算Position Bias做为位置折损：Position Bias在业界有较多的讨论，其中[7][8]将用户点击商户的过程分为观察和点击两个步骤：a.用户须要首先看到该商户，而看到商户的几率取决于所在的位置；b.看到商户后点击商户的几率只与商户的相关性有关。步骤a计算的几率即为Position Bias，这块内容能够讨论的东西不少，这里再也不详述。

通过上述对NDCG计算改造训练出的LambdaDNN模型，相较Base树模型和Pointwise DNN模型，在业务指标上有了很是显著的提高。

4.5 Lambda深度排序框架

Lambda梯度除了与DNN网络相结合外，事实上能够与绝大部分常见的网络结构相结合。为了进一步学习到更多交叉特征，咱们在LambdaDNN的基础上分别尝试了LambdaDeepFM和LambdaDCN网络；其中DCN网络是一种加入Cross的并行网络结构，交叉的网络每一层的输出特征与第一层的原始输入特征进行显性的两两交叉，至关于每一层学习特征交叉的映射去拟合层之间的残差。

离线的对比实验代表，Lambda梯度与DCN网络结合以后充分发挥了DCN网络的特色，简洁的多项式交叉设计有效地提高模型的训练效果。NDCG指标对比效果以下图所示：

5. 深度学习排序诊断系统

深度学习排序模型虽然给业务指标带来了大幅度的提高，但因为深度学习模型的“黑盒属性”致使了巨大的解释性成本，也给搜索业务带来了一些问题：

1. 平常搜索Bad Case没法快速响应：搜索业务平常须要应对大量来自于用户、业务和老板们的“灵魂拷问”，“为什么这个排序是这样的”，“为何这家商户质量跟我差很少，可是会排在个人前面”。刚切换到深度学习排序模型的时候，咱们对于这样的问题显得手足无措，须要花费大量的时间去定位问题。
2. 没法从Bad Case中学习总结规律持续优化：若是不明白为何排序模型会得出一个很坏的排序结果，天然也没法定位模型到底出了什么问题，也就没法根据Bad Case总结规律，从而肯定模型和特征未来的优化方向。
3. 模型和特征是否充分学习无从得知：新挖掘一些特征以后，一般咱们会根据离线评测指标是否有提高决定特征是否上线。可是，即便一个有提高的特征，咱们也没法知道这个特征是否性能足够好。例如，模型拟合的距离特征，会不会在特定的距离段出现距离越远反而打分越高的状况。

这些问题都会潜在带来一些用户没法理解的排序结果。咱们须要对深度排序模型清晰地诊断并解释。

关于机器学习模型的可解释性研究，业界已经有了一些探索。Lime(Local Interpretable Model-Agnostic Explanations)是其中的一种，以下图所示：经过对单个样本的特征生成扰动产生近邻样本，观察模型的预测行为。根据这些扰动的数据点距离原始数据的距离分配权重，基于它们学习获得一个可解释的模型和预测结果[5]。举个例子，若是须要解释一个情感分类模型是如何预测“我讨厌这部电影”为负面情感的，咱们经过丢掉部分词或者乱序构造一些样本预测情感，最终会发现，决定“我讨厌这部电影”为负面情感的是由于“讨厌”这个词。

基于Lime解释器的思想，咱们开发了一套深度模型解释器工具——雅典娜系统。目前雅典娜系统支持两种工做模式，Pairwise和Listwise模式：

1. Pairwise模式用来解释同一个列表中两个结果之间的相对排序。经过对样本的特征进行从新赋值或者替换等操做，观察样本打分和排序位次的变化趋势，诊断出当前样本排序是否符合预期。以下图所示，经过右侧的特征位次面板能够快速诊断出为何“南京大牌档”的排序比“金时代顺风港湾”要更靠前。第一行的特征位次信息显示，若将“金时代顺风港湾”的1.3km的距离特征用“南京大牌档”的0.2km的距离特征进行替换，排序位次将上升10位；由此得出，“南京大牌档”排在前面的决定性因素是由于距离近。
2. Listwise模式与Lime的工做模式基本相似，经过整个列表的样本生成扰动样本，训练线性分类器模型输出特征重要度，从而达到对模型进行解释的目的。

6. 总结与展望

2018年下半年，点评搜索完成了从树模型到大规模深度学习排序模型的全面升级。团队在深度学习特征工程、模型结构、优化目标以及工程实践上都进行了一些探索，在核心指标上取得了较为显著的收益。固然，将来依然有很多能够探索的点。

在特征层面，大量知识图谱提供的标签信息还没有充分挖掘。从使用方式上看，简单以文本标签的形式接入，损失了知识图谱的结构信息，所以，Graph Embedding也是将来须要尝试的方向。同时团队也会利用BERT在Query和商户文本的深层语义表达上作一些工做。

模型结构层面，目前线上依然以全链接的DNN网络结构为主，但DNN网络结构在低秩数据的学习上不如DeepFM和DCN。目前LambdaDeepFM和LambdaDCN在离线上已经取得了收益，将来会在网络结构上作进一步优化。

在模型优化目标上，Lambda Loss计算损失的时候，只会考虑Query内部有点击和无点击的样本对，大量无点击的Query被丢弃，同时，同一个用户短期内在不一样Query下的行为也包含着一些信息能够利用。所以，目前团队正在探索综合考虑Log Loss和Lambda Loss的模型，经过Multi-Task和按照不一样维度Shuffle样本让模型充分学习，目前咱们已经在线下取得了一些收益。

最后，近期Google开源的TF Ranking提出的Groupwise模型也对咱们有一些启发。目前绝大部分的Listwise方法只是体如今模型训练阶段，在打分预测阶段依然是Pointwise的，即只会考虑当前商户相关的特征，而不会考虑列表上下文的结果，将来咱们也会在这个方向上进行一些探索。

参考资料

1. 美团大脑：知识图谱的建模方法及其应用
2. Wide & Deep Learning for Recommender Systems
3. Deep Residual Learning for Image Recognition
4. Attention Is All You Need
5. Local Interpretable Model-Agnostic Explanations: LIME
6. From RankNet to LambdaRank to LambdaMART: An Overview
7. A Novel Algorithm for Unbiased Learning to Rank
8. Unbiased Learning-to-Rank with Biased Feedback
9. Real-time Personalization using Embeddings for Search Ranking at Airbnb

做者简介

• 非易，2016年加入美团点评，高级算法工程师，目前主要负责点评搜索核心排序层的研发工做。
• 祝升，2016年加入美团点评，高级算法工程师，目前负责点评搜索核心排序层的研发工做。
• 汤彪，2013年加入美团点评，高级算法专家，点评平台搜索技术负责人，致力于深层次查询理解和大规模深度学习排序的技术落地。
• 张弓，2012年加入美团点评，美团点评研究员。目前主要负责点评搜索业务演进，及集团搜索公共服务平台建设。
• 仲远，博士，美团AI平台部NLP中心负责人，点评搜索智能中心负责人。在国际顶级学术会议发表论文30余篇，得到ICDE 2015最佳论文奖，并是ACL 2016 Tutorial “Understanding Short Texts”主讲人，出版学术专著3部，得到美国专利5项。此前，博士曾担任微软亚洲研究院主管研究员，以及美国Facebook公司Research Scientist。曾负责微软研究院知识图谱、对话机器人项目和Facebook产品级NLP Service。