SIGIR 2021 | 广告系统位置误差的CTR模型优化方案

美团到店广告平台算法团队基于多年来在广告领域上积累的经验，一直在数据误差等业界挑战性问题不断进行深刻优化与算法创新。在以前分享的《KDD Cup 2020 Debiasing比赛冠军技术方案与广告业务应用》一文[4]中，团队分享了在KDD Cup比赛中取得冠军的选择性误差以及流行度误差的解决方案，同时也分享了在广告业务上误差优化的技术框架。本文基于这一技术框架进行继续介绍，聚焦于位置误差问题的最新进展，并详细地介绍团队在美团广告取得显著业务效果的位置误差CTR模型优化方案，以该方案为基础造成的论文《Deep Position-wise Interaction Network for CTR Prediction》也被国际顶级会议SIGIR 2021录用。

近些年来，因为人工智能技术的高速发展，所带来的公平性问题也愈发受到关注。一样的，广告技术也存在着许多公平性问题，因为公平性问题形成的误差对广告系统的生态会产生较大的负面影响。图1所示的是广告系统中的反馈环路[1]，广告系统经过累积的用户交互反馈数据基于必定的假设去训练模型，模型对广告进行预估排序展现给用户，用户基于可看到的广告进行交互进而累积到数据中。在该环路中，位置误差、流行度误差等各类不一样类型的误差会在各环节中不断累积，最终致使广告系统的生态不断恶化，造成“强者愈强、弱者愈弱”的马太效应。

因为误差对广告系统和推荐系统的生态有着极大的影响，针对消除误差的研究工做也在不断增长。好比国际信息检索会议SIGIR在2018年和2020年组织了一些关注于消除误差主题的专门会议，同时也给一些基于误差和公平性的论文颁发了最佳论文奖（Best Paper）[2,3]。KDD Cup 2020的其中一个赛道也基于电子商务推荐中的流行度误差进行开展[1]。

美团到店广告平台算法团队基于多年来在广告领域上积累的经验，一直在数据误差等业界挑战性问题不断进行深刻优化与算法创新。在以前分享的《KDD Cup 2020 Debiasing比赛冠军技术方案与广告业务应用》一文[4]中，团队分享了在KDD Cup比赛中取得冠军的选择性误差以及流行度误差的解决方案，同时也分享了在广告业务上误差优化的技术框架。

本文基于这一技术框架进行继续介绍，聚焦于位置误差问题的最新进展，并详细地介绍团队在美团广告取得显著业务效果的位置误差CTR模型优化方案，以该方案为基础造成的论文《Deep Position-wise Interaction Network for CTR Prediction》也被国际顶级会议SIGIR 2021录用。

1. 背景

美团到店广告平台算法团队基于美团和点评双侧的广告业务场景，不断进行广告前沿技术的深刻优化与算法创新。在大多数广告业务场景下，广告系统被分为四个模块，分别是触发策略、创意优选、质量预估以及机制设计，这些模块构成一个广告投放漏斗从海量广告中过滤以及精选出优质广告投放给目标用户。其中，触发策略从海量广告中挑选出知足用户意图的候选广告集合，创意优选负责候选广告的图片和文本生成，质量预估结合创意优选的结果对每个候选广告进行质量预估，包括点击率（CTR）预估、转化率（CVR）预估等，机制排序结合广告质量以及广告出价进行优化排序。在本文中，咱们也将广告称之为item。

CTR预估，做为质量预估的一个环节，是计算广告中最核心的算法之一。在每次点击付费（CPC）计费模式下，机制设计能够简单地按每千次展现收入（eCPM）来对广告进行排序以取得广告收入最大化。因为eCPM正比于CTR和广告出价（bid）的乘积。所以，CTR预估会直接影响到广告的最终收入和用户体验。为了有更高的CTR预估精度，CTR预估从早期的LR[5]、FM[6]、FFM[7]等支持大规模稀疏特征的模型，到XGBoost[8]、LightGBM[9]等树模型的结合，再到Wide&Deep[10]、Deep&Cross[11]、DeepFM[12]、xDeepFM[13]等支持高阶特征交叉的深度学习模型，进一步演化到DIN[14]、DIEN[15]、DSIN[16]等结合用户行为序列的深度学习模型，一直做为工业界以及学术界研究的热点领域之一，被不断探索和不断创新。

因为CTR预估模型的训练一般采用曝光点击数据，该数据是一种隐式反馈数据，因此会不可避免地产生各类误差问题。其中，位置误差因对CTR影响极大而备受关注。如图2所示，随机流量上不一样位置的CTR分布反应了用户一般倾向于点击靠前位置的广告，而且CTR会随着曝光位置的增大而迅速降低。所以，直接在曝光点击数据上进行训练，模型不可避免地会偏向于靠前位置的广告集合，形成位置误差问题。图2显示正常流量相比随机流量CTR分布更加集中在高位置广告上，经过反馈环路，这一问题将不断地放大，而且进一步损害模型的性能。所以，解决好位置误差问题不只可以提高广告系统的效果，并且还能平衡广告系统的生态，促进系统的公平性。

广告最终的真实曝光位置信息在线上预估时是未知的，这无疑进一步增大了位置误差问题的解决难度。现有的解决位置误差的方法能够大体分为如下两种：

• 神经网络位置特征建模：该方法将位置建模为神经网络中的特征，因为在预估过程当中并不知道真实位置信息，故而有些方法[17-19]把位置信息放于网络的Wide部分，在线下训练时使用真实位置，在线上预估时使用固定位置，这种方法因为其简单性和有效性，在工业界被普遍应用。为了在线上预估时无需使用位置信息，如图3所示，PAL[20]将样本的CTR建模为ProbSeen乘以pCTR，其中ProbSeen仅使用位置特征建模，而pCTR使用其余信息建模，在线上只使用pCTR做为CTR预估值。

• Inverse Propensity Weighting（IPW）：该方法被学术界普遍研究[21-29]，其在模型训练时给不一样曝光位置的样本赋予不一样的样本权重，直观地看，应该将具备较低接收反馈倾向的广告样本（曝光位置靠后的广告）分配较高的权重。所以，这种方法的难点就在于不一样位置的样本权重如何肯定，一个简单的方法是使用广告随机展现的流量来准确地计算位置CTR误差，但不可避免地损害用户体验。故而，许多方法致力于在有偏的流量上来准确地预估位置误差。

上述的方法一般基于一个较强的假设，即点击伯努利变量$C$依赖于两个潜在的伯努利变量E和$R$，以下式所示：

其中，等式左边指的是用户$u$在上下文$c$中点击第$k$个广告$i$的几率，咱们定义上下文$c$为实时的请求信息。等式右边第一项指的是位置$k$被查看的几率，其中$[s]$一般为上下文$c$的一个子集，大部分方法假设$[s]$为空集，即位置$k$被查看的几率仅与$k$有关。等式右边第二项指的是相关性几率（例如用户$u$在上下文$c$中对广告$i$的的真实兴趣）。上述方法一般显式或隐式地估计查看几率，而后利用反事实推理（Counterfactual Inference）得出相关性几率，最终在线上将相关性几率做为CTR的预估值。训练和预估之间位置信息的不一样处理将不可避免地致使线下线上间的不一致问题，进一步致使次优的模型性能。

此外，已有方法一般假设查看几率仅依赖于位置及部分上下文信息，其假设过于简单。不一样的用户一般具备不一样的浏览习惯，有些用户可能倾向于浏览更多item，而有些用户一般能快速作出决定，而且同一个用户在不一样的上下文中搜索意图中也会有不一样的位置偏好，例如商场等地点词的搜索每每意图不明确致使高低位置的CTR差别并不大。故而，位置误差与用户，上下文有关，甚至可能与广告自己也有关，建模它们间的关系能更好地解决位置误差问题。

不一样于上述的方法，本文提出了一个基于深度位置交叉网络（Deep Position-wise Interaction Network）（DPIN）模型的多位置预估方法去有效地直接建模$ CTR_k^j=p(C=1|u,c,i,k) $
来提升模型性能，其中$ CTR_k^j $是第$j$个广告在第$k$个位置的CTR预估值。该模型有效地组合了全部候选广告和位置，以预估每一个广告在每一个位置的CTR，实现线下线上的一致性，并在在线服务性能限制的状况下支持位置、用户、上下文和广告之间的深度非线性交叉。广告的最终序能够经过最大化$\sum CTR_k^jbid^j $来肯定，其中$bid^j$为广告的出价，本文在线上机制采用一个位置自顶向下的贪婪算法去获得广告的最终序。本文的贡献以下：

• 本文在DPIN中使用具备非线性交叉的浅层位置组合模块，该模块能够并行地预估候选广告和位置组合的CTR，达到线下线上的一致性，并大大改善了模型性能。
• 不一样于以往只对候选广告进行用户兴趣建模，本次首次提出对候选位置也进行用户兴趣建模。DPIN应用一个深度位置交叉模块有效地学习位置，用户兴趣和上下文之间的深度非线性交叉表示。
• 根据对于位置的新处理方式，本文提出了一种新的评估指标PAUC（Position-wise AUC），用于测量模型在解决位置误差问题上的模型性能。本文在美团广告的真实数据集上进行了充分的实验，验证了DPIN在模型性能和服务性能上都能取得很好的效果。同时本文还在线上部署了A/B Test，验证了DPIN与高度优化的已有基线相比有显著提高。

2. 深度位置交叉网络（Deep Position-wise Interaction Network

本节主要介绍深度位置交叉网络（Deep Position-wise Interaction Network）（DPIN）模型。如图4所示，DPIN模型由三个模块组成，分别是处理$J$个候选广告的基础模块（Base Module），处理$K$个候选位置的深度位置交叉模块（Deep Position-wise Interaction Module）以及组合$J$个广告和$K$个位置的位置组合模块（Position-wise Combination Module），不一样模块需预估的样本数量不同，复杂模块预估的样本数量少，简单模块预估的样本数量多，由此来提升模型性能和保障服务性能。经过这三个模块的组合，DPIN模型有能力在服务性能的限制下预估每一个广告在每一个位置上的CTR，并学习位置信息和其余信息的深度非线性交叉表示。下文将会详细地介绍这三个模块。

2.1 基础模块（Base Module）

与大多数深度学习CTR模型[10-16]相似，本文采用Embedding和MLP（多层感知机）的结构做为基础模块。 对于一个特定请求请求，基础模块将用户、上下文和$J$个候选广告做为输入，将每一个特征经过Embedding进行表示，拼接Embedding表示输入多层MLP，采用ReLU做为激活函数，最终能够获得每一个广告在该请求下的表示。第$j$个广告的表示$r_j^{item}$能够经过以下公式获得：

其中$\{u_1,...,u_m\}$，$\{c_1,...,c_m\}$，$\{i_1^j,...,i_o^j\}$分别是当前用户特征集合、当前上下文特征集合以及第$j$个广告的特征集合，$E(\cdot)\in \mathbb{R} $是Embedding映射。

2.2 深度位置交叉模块（Deep Position-wise Interaction Module）

在大多数业务场景中，基础模块一般已经被高度优化，包含了大量特征甚至用户序列等信息，其目的是捕捉用户在该上下文中对不一样广告的兴趣。所以，基础模块的推理时间复杂度一般较大，直接在基础模块中加入位置特征对全部广告在全部位置上进行CTR预估是不可接受的。所以，本文提出了一个与基础模块并行的深度位置交叉模块，不一样于针对广告进行兴趣建模的基础模块，该模块针对于位置进行兴趣建模，学习每一个位置与上下文及用户兴趣的深度非线性交叉表示。

在深度位置交叉模块中，咱们提取用户在每一个位置的行为序列，将其用于各位置上的用户兴趣聚合，这样能够消除整个用户行为序列上的位置误差。接着，咱们采用一层非线性全链接层来学习位置、上下文与用户兴趣非线性交叉表示。最后，为了聚合用户在不一样位置上的序列信息来保证信息不被丢失，咱们采用了Transformer[30]来使得不一样位置上的行为序列表示能够进行交互。

位置兴趣聚合（Position-wise Interest Aggregation）。 咱们令$B_k=\{b_1^k,b_2^k,...,b_L^k \}$为用户在第$k$个位置的历史行为序列，其中$b_l^k=[v_l^k, c_l^k]$为用户在第$k$个位置上的历史第$l$个行为记录，$v_l$为点击的item特征集合，$c_l^k$为发生该行为时的上下文（包括搜索关键词、请求地理位置、一周中的第几天、一天中的第几个小时等），行为记录的Embedding表示$\mathbf{b_l^k}$能够经过下式获得：

其中$\{v_1^{k_l},v_o^{k_l}\}$，$\{c_1^{k_l},c_n^{k_l}\}$分别为$v_l^k$和$c_l^k$的特征集合，$dif^{kl}$为该行为与当前上下文的时间差。

第$k$个位置行为序列的聚合表示$\mathbf{b_k}$能够经过注意力机制获取，如如下公式所示：

其引入当前上下文$\mathbf{c}$去计算注意力权重，对于与上下文越相关的行为能够给予越多的权重。

位置非线性交叉（Position-wise Non-linear Interaction）： 咱们采用一层非线性全链接层来学习位置、上下文与用户兴趣非线性交叉表示，以下式所示：

其中，$\mathbf{W_v},\mathbf{b_v},$将拼接的向量映射到$d_{model}$维度。

Transformer Block： 若是将$V_k$直接做为第$k$个位置的非线性交叉表示，那么会丢失用户在其余位置上的行为序列信息。所以，咱们采用Transformer去学习不一样位置兴趣的交互。令$\mathbf{Q}=\mathbf{K}=\mathbf{V}=Concat(\mathbf{v_1},\mathbf{v_2},...,\mathbf{v_K})$为Transformer的输入，Tranformer的多头自注意力结构能够由如下公式表示：

其中，$d_k=d_{model}/h$是每一个头的维度。由于$\mathbf{v_k}$中已经包含位置信息，故而咱们不须要Transformer中的位置编码。一样的，咱们也沿用Transformer中的前馈网络（Position-wise Feed-forward Network）、残差链接（Residual Connections）以及层标准化（Layer Normalization）。N个Transformer Block会被使用去加深网络。

最终，深度位置交叉模块会产出每一个位置的深度非线性交叉表示，其中第$k$个位置被表示为$r_k^{pos}$。

2.3 位置组合模块（Position-wise Combination Module）

位置组合模块的目的是去组合$J$个广告和$K$个位置来预估每一个广告在每一个位置上的CTR，咱们采用一层非线性全链接层来学习广告、位置、上下文和用户的非线性表示，第$j$个广告在第$k$个位置上的CTR能够由以下公式得出：

其中包括了一层非线性链接层和一层输出层，是$E(k)$位置k的embedding表示，$\sigma(\cdot)$是sigmoid函数。

整个模型可使用真实位置经过批量梯度降低法进行训练学习，咱们采用交叉熵做为咱们的损失函数。

3. 实验

在本节中，咱们评估DPIN的模型性能和服务性能，咱们将详细描述实验设置和实验结果。

3.1 实验设置

数据集： 咱们使用美团搜索关键词广告数据集训练和评估咱们的CTR模型。训练数据量达到数亿，测试数据量大约一千万。测试集被划分为两个部分，一部分是线上收集的常规流量日志，另外一部分是线上Top-k随机的探索流量日志。Top-k随机的探索流量日志是更适合用来评估位置误差问题，由于它大大削弱了相关性推荐对位置误差的影响。

评估指标： 咱们使用AUC（Area Under ROC）做为咱们的评估指标之一。为了更好的针对位置误差问题进行评估，咱们提出PAUC （Position-wise AUC）做为咱们的另外一个评估指标，其由如下公式计算：

其中，$\#impression_k$是第$k$个位置的曝光数量，$PAUC@k$是第$k$个位置曝光数据的AUC。PAUC指标衡量每一个位置上相关性排序的质量，忽略了位置误差对排序质量的影响。

对比的方法。 为了公平且充分地对比不一样模型的效果，咱们全部实验中所使用的模型输入使用等量且深度结合美团业务的特征，不一样模型中的相同模块都使用一致的参数，而且对比的基线DIN[14]模型通过高度优化，如下为咱们具体进行对比的实验：

• DIN： 该模型训练和预估时都没有使用位置信息。
• DIN+PosInWide： 这个方法在网络的Wide部分建模位置特征，在评估时采用第一个位置做为位置特征的默认值去评估。
• DIN+PAL： 这个方法采用PAL框架去建模位置信息。
• DIN+ActualPosInWide： 这个方法在网络的Wide部分建模位置特征，在评估时采用真实位置特征去评估。
• DIN+Combination： 这个方法在DIN的基础上添加了位置组合模块，评估时采用真实位置特征去评估。
• DPIN-Transformer： 这个方法在咱们提出的DPIN模型上去除了Transformer结构，来验证Transformer的做用。
• DPIN： 这是咱们提出的DPIN模型。
• DPIN+ItemAction： 咱们在DPIN的基础模块MLP层前添加深度位置交叉模块，并在位置兴趣聚合和位置非线性交叉中引入候选广告的信息，这个实验是咱们方法模型性能的理论上界，然而服务性能是不可接受的。

3.2 离线评估

表1展现了咱们所进行的对比方法在常规流量和随机流量上的离线实验评估结果，其中的数值为各个模型相对于DIN模型的效果差别，咱们首先分析在常规流量上不一样方法的差别。与DIN相比，DIN+PosInWide和DIN+PAL的模型在AUC指标上有所降低，但在PAUC上有所提高，这代表了这两种方法均可以有效地缓解位置误差，但会致使离线和在线之间的不一致。

DIN+AcutalPosInWide经过在评估过程当中引入实际位置来解决不一致问题，这能够经过位置组合模块来实现，可是在wide部分建模位置会致使位置特征只是一个误差，不能提高PAUC指标，虽然能更准确地预估各位置上的CTR，但没有对数据中固有的位置误差进行更好的学习。

DIN+Combination经过在DIN中引入位置组合模块，咱们取得了1.52%的AUC增益和0.82%的PAUC增益，达到线下线上一致性的同时也进一步地缓解了位置误差，这个结果说明了位置误差与上下文、用户等信息不独立，在不一样的用户及上下文中会有不一样的位置误差。更进一步的，DPIN建模位置、上下文、用户的深度非线性交叉关系，也消除了用户行为序列中存在的位置误差，对比DIN+Combination取得了0.24%的AUC增益以及0.44%的PAUC增益。

DPIN-Transformer的效果说明了丢失其余位置的用户兴趣会影响模型的性能，由于这将损失大部分用户兴趣信息。对比DPIN和DPIN+ItemAction，咱们发现DPIN的模型性能接近于这个暴力方法，说明DPIN模型逼近了咱们方法的理论上界。最终，相较于咱们的线上基线模型DIN+PosInWide，DPIN取得了2.98%的AUC增益和1.07%的PAUC增益，这在咱们的业务场景中是一次极大的AUC和PAUC提高。

为了确保咱们的方法可以学习位置误差而不是单纯地过分拟合系统的选择性误差，咱们进一步在随机流量上评估咱们的方法。表1的结果代表了在常规流量和随机流量上不一样方法之间的差别是一致的，这说明了就算系统的推荐结果有了巨大的差别，该模型仍能有效地学习到在不一样用户及上下文中的位置误差，模型学到的位置误差受系统推荐列表的影响很小，这也说明咱们的模型能够不受系统选择性误差的影响从而泛化到其余推荐方法的流量上。

3.3 服务性能

咱们从数据集中检索出一些具备不一样候选广告数量的请求，以评估不一样候选广告数量下的服务性能。如图5所示，因为用户序列操做的延迟在服务延迟中占了很大比例，所以与DIN模型相比，位置组合模块服务延迟能够忽略不计。DPIN的服务延迟随着广告数量的增长而缓慢增长，这是由于相比较于DIN，DPIN将用户序列从基础模块移动到深度位置交叉模块，而深度位置交叉模块的服务性能与广告数量无关。与DIPIN+ItemAction方法相比，DPIN在服务性能方面有了很大的改进，对模型性能的损害很小，这代表咱们提出的方法既高效又有效。

3.4 在线评估

咱们在线上部署了A/B测试，有稳定的结果代表，与基线相比，DPIN在CTR上提升了2.25％，在RPM（每千次展现收入）上提升了2.15％。现在，DPIN已在线部署并服务于主要流量，为业务收入的显着增加作出了贡献。

4. 总结与展望

在本文中，咱们提出了一种新颖的深度位置交叉网络模型（Deep Position-wise Interaction Network）以缓解位置误差问题，该模型有效地组合了全部候选广告和位置以估算每一个广告在每一个位置的点击率，实现了离线和在线之间的一致性。该模型设计了位置、上下文和用户之间的深层非线性交叉，能够学习到不一样用户、不一样上下文中的位置误差。为了评估位置偏向问题，咱们提出了一种新的评估指标PAUC，离线实验代表，所提出的DPIN的效果和效率均优于已有方法。目前，DPIN已部署到美团搜索关键词广告系统并服务于主要流量。

值得一提的是，咱们的并行组合思想不只能够用在广告和位置的组合上，也能够用在广告和创意的组合等广告领域常见的组合排序问题。在将来，咱们将在这些问题上继续实践咱们的方法，并进一步地设计更完善的网络结构来解决相似的组合排序问题。咱们也将在误差领域上进行更多的探索，解决更多的问题，进一步维护广告系统的生态平衡。

做者简介

坚强、胡可、庆涛、明健、漆毅、程佳、雷军等，均来自美团广告平台技术部。

参考文献

• [1] Chen, Jiawei, et al. "Bias and Debias in Recommender System: A Survey and Future Directions." arXiv preprint arXiv:2010.03240 (2020).
• [2] Cañamares, Rocío, and Pablo Castells. "Should I follow the crowd? A probabilistic analysis of the effectiveness of popularity in recommender systems." The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. 2018.
• [3] Morik, Marco, et al. "Controlling fairness and bias in dynamic learning-to-rank." Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. 2020.
• [4] 《KDD Cup 2020 Debiasing比赛冠军技术方案及在美团的实践》。
• [5] Richardson, Matthew, Ewa Dominowska, and Robert Ragno. "Predicting clicks: estimating the click-through rate for new ads." Proceedings of the 16th international conference on World Wide Web. 2007.
• [6] Rendle, Steffen. "Factorization machines." 2010 IEEE International Conference on Data Mining. IEEE, 2010.
• [7] Juan, Yuchin, et al. "Field-aware factorization machines for CTR prediction." Proceedings of the 10th ACM conference on recommender systems. 2016.
• [8] Chen, Tianqi, and Carlos Guestrin. "Xgboost: A scalable tree boosting system." Proceedings of the 22nd acm sigkdd international conference on knowledge discovery and data mining. 2016.
• [9] Ke, Guolin, et al. "Lightgbm: A highly efficient gradient boosting decision tree." Advances in neural information processing systems 30 (2017): 3146-3154.
• [10] Cheng, Heng-Tze, et al. "Wide & deep learning for recommender systems." Proceedings of the 1st workshop on deep learning for recommender systems. 2016.
• [11] Wang, Ruoxi, et al. "Deep & cross network for ad click predictions." Proceedings of the ADKDD'17. 2017. 1-7.
• [12] Guo, Huifeng, et al. "DeepFM: a factorization-machine based neural network for CTR prediction." arXiv preprint arXiv:1703.04247 (2017).
• [13] Lian, Jianxun, et al. "xdeepfm: Combining explicit and implicit feature interactions for recommender systems." Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018.
• [14] Zhou, Guorui, et al. "Deep interest network for click-through rate prediction." Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018.
• [15] Zhou, Guorui, et al. "Deep interest evolution network for click-through rate prediction." Proceedings of the AAAI conference on artificial intelligence. Vol. 33. No. 01. 2019.
• [16] Feng, Yufei, et al. "Deep session interest network for click-through rate prediction." arXiv preprint arXiv:1905.06482 (2019).
• [17] Ling, Xiaoliang, et al. "Model ensemble for click prediction in bing search ads." Proceedings of the 26th International Conference on World Wide Web Companion. 2017.
• [18] Zhao, Zhe, et al. "Recommending what video to watch next: a multitask ranking system." Proceedings of the 13th ACM Conference on Recommender Systems. 2019.
• [19] Haldar, Malay, et al. "Improving Deep Learning For Airbnb Search." Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020.
• [20] Guo, Huifeng, et al. "PAL: a position-bias aware learning framework for CTR prediction in live recommender systems." Proceedings of the 13th ACM Conference on Recommender Systems. 2019.
• [21] Wang, Xuanhui, et al. "Learning to rank with selection bias in personal search." Proceedings of the 39th International ACM SIGIR conference on Research and Development in Information Retrieval. 2016.
• [22] Joachims, Thorsten, Adith Swaminathan, and Tobias Schnabel. "Unbiased learning-to-rank with biased feedback." Proceedings of the Tenth ACM International Conference on Web Search and Data Mining. 2017.
• [23] Ai, Qingyao, et al. "Unbiased learning to rank with unbiased propensity estimation." The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. 2018.
• [24] Wang, Xuanhui, et al. "Position bias estimation for unbiased learning to rank in personal search." Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining. 2018.
• [25] Agarwal, Aman, et al. "Estimating position bias without intrusive interventions." Proceedings of the Twelfth ACM International Conference on Web Search and Data Mining. 2019.
• [26] Hu, Ziniu, et al. "Unbiased lambdamart: an unbiased pairwise learning-to-rank algorithm." The World Wide Web Conference. 2019.
• [27] Ovaisi, Zohreh, et al. "Correcting for selection bias in learning-to-rank systems." Proceedings of The Web Conference 2020. 2020.
• [28] Yuan, Bowen, et al. "Unbiased Ad click prediction for position-aware advertising systems." Fourteenth ACM Conference on Recommender Systems. 2020.
• [29] Qin, Zhen, et al. "Attribute-based propensity for unbiased learning in recommender systems: Algorithm and case studies." Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020.
• [30] Vaswani, Ashish, et al. "Attention is all you need." arXiv preprint arXiv:1706.03762 (2017).

阅读美团技术团队更多技术文章合集

前端 | 算法 | 后端 | 数据 | 安全 | 运维 | iOS | Android | 测试

| 在公众号菜单栏对话框回复【2020年货】、【2019年货】、【2018年货】、【2017年货】等关键词，可查看美团技术团队历年技术文章合集。

| 本文系美团技术团队出品，著做权归属美团。欢迎出于分享和交流等非商业目的转载或使用本文内容，敬请注明“内容转载自美团技术团队”。本文未经许可，不得进行商业性转载或者使用。任何商用行为，请发送邮件至tech@meituan.com申请受权。