Beyond Globally Optimal: Focused Learning

这里对WWW 2017文章《Beyond Globally Optimal: Focused Learning for Improved Recommendations》进行一个简单的分析解读。

文章亮点：

• 做者群来自Google和Pinterest

• 第一次系统性的解释了为何用全局模型可能会在局部数据上表现很差

• 文章提出了简单易行的解决办法，可让全局模型在局部数据上依然可以达到最优

• 文章很全面得在一些数据及上进行了比较完整的比较

 

这篇文章来自一群前CMU的学者，目前在Google和Pinterest。那么这篇文章试图解决什么问题呢？具体说来，就是做者们发现，传统的推荐系统，基于优化一个全局的目标函数，一般状况下每每只能给出一个很是有“误差”（Skewed）的预测分布。也就是说，传统的推荐系统追求的是平均表现状况，在不少状况下的预测实际上是十分不许确的。这个状况在评价指标是Root Mean Squared Error（RMSE）的时候，就显得尤其明显。

 

这篇文章的做者是这么定义了一个叫作Focused Learning的问题，那就是若是让模型在一个局部的数据上可以表现出色。那么，为何须要模型在一个局部的数据上表现出色呢？做者们作了这么一件事情，那就是对每一个用户，以及每个物品的预测偏差（Error）进行了分析统计，发现有不小比例的用户的预测偏差比较大，也有不小比例的物品的预测偏差比较大。做者们发现模型在一些数据上存在着系统性的偏差较大的问题，而不是偶然发生的状况。

 

做者们又从理论上进行了对这个问题一番讨论。这里的讨论十分巧妙，大概的思路就是，假定如今在全局最优的状况下，模型的参数的梯度已经为0了，但模型的Loss依然不为0（这种状况很常见）。那么，就必定存在部分数据的参数梯度不为0，由于某一部分数据的Loss不为0。这也就证实了部分数据的模型参数在这些数据上的表现必定不是最优的。值得注意的是，这个证实很是广泛，和具体的模型是什么类型没有关系。

 

在有了这么一番讨论以后，那么做者们如何解决这个问题呢？这篇文章走了Hyper-parameter Optimization的道路。文章展现了这在普通的Matrix Factorization里面是如何作到。具体说来，就是对于某个Focused Set作Hyper-parameter的调优，使得当前的Hyper-parameter可以在Focused Set上可以有最好表现。而这组参数天然是针对不一样的Focused Set有不一样的选择。文章提到的另一个思路，则是对Focused Set以及非Focused Set的Hyper-parameter进行区分对待，这样有助于最后的模型可以有一个比较Flexible的表达。

 

文章在实验的部分针对几种不一样的Focused Set进行了比较实验。好比，针对Cold-Start的物品，针对Outlier的物品，以及更加复杂的libFM模型都进行了实验。咱们在这里就不去复述了。整体来讲，Focused Learning在不一样的数据集上都获得了比较好的提高效果。同时，做者们还针对为何Focused Learning可以Work进行了一番探讨，整体看来，Focused Learning既照顾了Global的信息，同时又经过附加的Hyper-parameter调优对某一个局部的数据进行优化，因此每每好于Global的模型以及也好于单独的Local模型。