FM和FFM模型是最近几年提出的模型,凭借其在数据量比较大而且特征稀疏的状况下,仍然可以获得优秀的性能和效果的特性,多次在各大公司举办的CTR预估比赛中得到不错的战绩。美团点评技术团队在搭建DSP的过程当中,探索并使用了FM和FFM模型进行CTR和CVR预估,而且取得了不错的效果。本文旨在把咱们对FM和FFM原理的探索和应用的经验介绍给有兴趣的读者。github
前言
在计算广告领域,点击率CTR(click-through rate)和转化率CVR(conversion rate)是衡量广告流量的两个关键指标。准确的估计CTR、CVR对于提升流量的价值,增长广告收入有重要的指导做用。预估CTR/CVR,业界经常使用的方法有人工特征工程 + LR(Logistic Regression)、GBDT(Gradient Boosting Decision Tree) + LR[1][2][3]、FM(Factorization Machine)[2][7]和FFM(Field-aware Factorization Machine)[9]模型。在这些模型中,FM和FFM近年来表现突出,分别在由Criteo和Avazu举办的CTR预测竞赛中夺得冠军[4][5]。算法
考虑到FFM模型在CTR预估比赛中的不俗战绩,美团点评技术团队在搭建DSP(Demand Side Platform)[6]平台时,在站内CTR/CVR的预估上使用了该模型,取得了不错的效果。本文是基于对FFM模型的深度调研和使用经验,从原理、实现和应用几个方面对FFM进行探讨,但愿可以从原理上解释FFM模型在点击率预估上取得优秀效果的缘由。由于FFM是在FM的基础上改进得来的,因此咱们首先引入FM模型,本文章节组织方式以下:编程
- 首先介绍FM的原理。
- 其次介绍FFM对FM的改进。
- 而后介绍FFM的实现细节。
- 最后介绍模型在DSP场景的应用。
FM原理
FM(Factorization Machine)是由Konstanz大学Steffen Rendle(现任职于Google)于2010年最先提出的,旨在解决稀疏数据下的特征组合问题[7]。下面以一个示例引入FM模型。假设一个广告分类的问题,根据用户和广告位相关的特征,预测用户是否点击了广告。源数据以下[8]windows
Clicked? | Country | Day | Ad_type |
---|---|---|---|
1 | USA | 26/11/15 | Movie |
0 | China | 1/7/14 | Game |
1 | China | 19/2/15 | Game |
"Clicked?"是label,Country、Day、Ad_type是特征。因为三种特征都是categorical类型的,须要通过独热编码(One-Hot Encoding)转换成数值型特征。多线程
Clicked? | Country=USA | Country=China | Day=26/11/15 | Day=1/7/14 | Day=19/2/15 | Ad_type=Movie | Ad_type=Game |
---|---|---|---|---|---|---|---|
1 | 1 | 0 | 1 | 0 | 0 | 1 | 0 |
0 | 0 | 1 | 0 | 1 | 0 | 0 | 1 |
1 | 0 | 1 | 0 | 0 | 1 | 0 | 1 |
由上表能够看出,通过One-Hot编码以后,大部分样本数据特征是比较稀疏的。上面的样例中,每一个样本有7维特征,但平均仅有3维特征具备非零值。实际上,这种状况并非此例独有的,在真实应用场景中这种状况广泛存在。例如,CTR/CVR预测时,用户的性别、职业、教育水平、品类偏好,商品的品类等,通过One-Hot编码转换后都会致使样本数据的稀疏性。特别是商品品类这种类型的特征,如商品的末级品类约有550个,采用One-Hot编码生成550个数值特征,但每一个样本的这550个特征,有且仅有一个是有效的(非零)。因而可知,数据稀疏性是实际问题中不可避免的挑战。ide
One-Hot编码的另外一个特色就是致使特征空间大。例如,商品品类有550维特征,一个categorical特征转换为550维数值特征,特征空间剧增。函数
同时经过观察大量的样本数据能够发现,某些特征通过关联以后,与label之间的相关性就会提升。例如,“USA”与“Thanksgiving”、“China”与“Chinese New Year”这样的关联特征,对用户的点击有着正向的影响。换句话说,来自“China”的用户极可能会在“Chinese New Year”有大量的浏览、购买行为,而在“Thanksgiving”却不会有特别的消费行为。这种关联特征与label的正向相关性在实际问题中是广泛存在的,如“化妆品”类商品与“女”性,“球类运动配件”的商品与“男”性,“电影票”的商品与“电影”品类偏好等。所以,引入两个特征的组合是很是有意义的。性能
多项式模型是包含特征组合的最直观的模型。在多项式模型中,特征 xixi 和 xjxj 的组合采用 xixjxixj 表示,即 xixi 和 xjxj 都非零时,组合特征 xixjxixj 才有意义。从对比的角度,本文只讨论二阶多项式模型。模型的表达式以下
其中,nn 表明样本的特征数量,xixi 是第 ii 个特征的值,w0w0、wiwi、wijwij 是模型参数。
从公式(1)(1)能够看出,组合特征的参数一共有 n(n−1)2n(n−1)2 个,任意两个参数都是独立的。然而,在数据稀疏性广泛存在的实际应用场景中,二次项参数的训练是很困难的。其缘由是,每一个参数 wijwij 的训练须要大量 xixi 和 xjxj 都非零的样本;因为样本数据原本就比较稀疏,知足“xixi 和 xjxj 都非零”的样本将会很是少。训练样本的不足,很容易致使参数 wijwij 不许确,最终将严重影响模型的性能。
那么,如何解决二次项参数的训练问题呢?矩阵分解提供了一种解决思路。在model-based的协同过滤中,一个rating矩阵能够分解为user矩阵和item矩阵,每一个user和item均可以采用一个隐向量表示[8]。好比在下图中的例子中,咱们把每一个user表示成一个二维向量,同时把每一个item表示成一个二维向量,两个向量的点积就是矩阵中user对item的打分。
相似地,全部二次项参数 wijwij 能够组成一个对称阵 WW(为了方便说明FM的由来,对角元素能够设置为正实数),那么这个矩阵就能够分解为 W=VTVW=VTV,VV 的第 jj 列即是第 jj 维特征的隐向量。换句话说,每一个参数 wij=⟨vi,vj⟩wij=⟨vi,vj⟩,这就是FM模型的核心思想。所以,FM的模型方程为(本文不讨论FM的高阶形式)
其中,vivi 是第 ii 维特征的隐向量,⟨⋅,⋅⟩⟨⋅,⋅⟩ 表明向量点积。隐向量的长度为 kk(k<<nk<<n),包含 kk 个描述特征的因子。根据公式(2)(2),二次项的参数数量减小为 knkn个,远少于多项式模型的参数数量。另外,参数因子化使得 xhxixhxi 的参数和 xixjxixj 的参数再也不是相互独立的,所以咱们能够在样本稀疏的状况下相对合理地估计FM的二次项参数。具体来讲,xhxixhxi 和 xixjxixj 的系数分别为 ⟨vh,vi⟩⟨vh,vi⟩ 和 ⟨vi,vj⟩⟨vi,vj⟩,它们之间有共同项 vivi。也就是说,全部包含“xixi 的非零组合特征”(存在某个 j≠ij≠i,使得 xixj≠0xixj≠0)的样本均可以用来学习隐向量 vivi,这很大程度上避免了数据稀疏性形成的影响。而在多项式模型中,whiwhi 和 wijwij 是相互独立的。
显而易见,公式(2)(2)是一个通用的拟合方程,能够采用不一样的损失函数用于解决回归、二元分类等问题,好比能够采用MSE(Mean Square Error)损失函数来求解回归问题,也能够采用Hinge/Cross-Entropy损失来求解分类问题。固然,在进行二元分类时,FM的输出须要通过sigmoid变换,这与Logistic回归是同样的。直观上看,FM的复杂度是 O(kn2)O(kn2)。可是,经过公式(3)(3)的等式,FM的二次项能够化简,其复杂度能够优化到 O(kn)O(kn)[7]。因而可知,FM能够在线性时间对新样本做出预测。
咱们再来看一下FM的训练复杂度,利用SGD(Stochastic Gradient Descent)训练模型。模型各个参数的梯度以下
其中,vj,fvj,f 是隐向量 vjvj 的第 ff 个元素。因为 ∑nj=1vj,fxj∑j=1nvj,fxj 只与 ff 有关,而与 ii 无关,在每次迭代过程当中,只需计算一次全部 ff 的 ∑nj=1vj,fxj∑j=1nvj,fxj,就可以方便地获得全部 vi,fvi,f 的梯度。显然,计算全部 ff 的 ∑nj=1vj,fxj∑j=1nvj,fxj 的复杂度是 O(kn)O(kn);已知 ∑nj=1vj,fxj∑j=1nvj,fxj 时,计算每一个参数梯度的复杂度是 O(1)O(1);获得梯度后,更新每一个参数的复杂度是 O(1)O(1);模型参数一共有 nk+n+1nk+n+1 个。所以,FM参数训练的复杂度也是 O(kn)O(kn)。综上可知,FM能够在线性时间训练和预测,是一种很是高效的模型。
FM与其余模型的对比
FM是一种比较灵活的模型,经过合适的特征变换方式,FM能够模拟二阶多项式核的SVM模型、MF模型、SVD++模型等[7]。
相比SVM的二阶多项式核而言,FM在样本稀疏的状况下是有优点的;并且,FM的训练/预测复杂度是线性的,而二项多项式核SVM须要计算核矩阵,核矩阵复杂度就是N平方。
相比MF而言,咱们把MF中每一项的rating分改写为 rui∼βu+γi+xTuyirui∼βu+γi+xuTyi,从公式(2)(2)中能够看出,这至关于只有两类特征 uu 和 ii 的FM模型。对于FM而言,咱们能够加任意多的特征,好比user的历史购买平均值,item的历史购买平均值等,可是MF只能局限在两类特征。SVD++与MF相似,在特征的扩展性上都不如FM,在此再也不赘述。
FFM原理
FFM(Field-aware Factorization Machine)最初的概念来自Yu-Chin Juan(阮毓钦,毕业于中国台湾大学,如今美国Criteo工做)与其比赛队员,是他们借鉴了来自Michael Jahrer的论文[14]中的field概念提出了FM的升级版模型。经过引入field的概念,FFM把相同性质的特征归于同一个field。以上面的广告分类为例,“Day=26/11/15”、“Day=1/7/14”、“Day=19/2/15”这三个特征都是表明日期的,能够放到同一个field中。同理,商品的末级品类编码生成了550个特征,这550个特征都是说明商品所属的品类,所以它们也能够放到同一个field中。简单来讲,同一个categorical特征通过One-Hot编码生成的数值特征均可以放到同一个field,包括用户性别、职业、品类偏好等。在FFM中,每一维特征 xixi,针对其它特征的每一种field fjfj,都会学习一个隐向量 vi,fjvi,fj。所以,隐向量不只与特征相关,也与field相关。也就是说,“Day=26/11/15”这个特征与“Country”特征和“Ad_type"特征进行关联的时候使用不一样的隐向量,这与“Country”和“Ad_type”的内在差别相符,也是FFM中“field-aware”的由来。
假设样本的 nn 个特征属于 ff 个field,那么FFM的二次项有 nfnf个隐向量。而在FM模型中,每一维特征的隐向量只有一个。FM能够看做FFM的特例,是把全部特征都归属到一个field时的FFM模型。根据FFM的field敏感特性,能够导出其模型方程。
其中,fjfj 是第 jj 个特征所属的field。若是隐向量的长度为 kk,那么FFM的二次参数有 nfknfk 个,远多于FM模型的 nknk 个。此外,因为隐向量与field相关,FFM二次项并不可以化简,其预测复杂度是 O(kn2)O(kn2)。
下面以一个例子简单说明FFM的特征组合方式[9]。输入记录以下
User | Movie | Genre | Price |
---|---|---|---|
YuChin | 3Idiots | Comedy, Drama | $9.99 |
这条记录能够编码成5个特征,其中“Genre=Comedy”和“Genre=Drama”属于同一个field,“Price”是数值型,不用One-Hot编码转换。为了方便说明FFM的样本格式,咱们将全部的特征和对应的field映射成整数编号。
Field name | Field index | Feature name | Feature index |
---|---|---|---|
User | 1 | User=YuChin | 1 |
Movie | 2 | Movie=3Idiots | 2 |
Genre | 3 | Genre=Comedy | 3 |
Price | 4 | Genre=Drama | 4 |
Price | 5 |
那么,FFM的组合特征有10项,以下图所示。