FM/FFM原理

转自https://tech.meituan.com/deep-understanding-of-ffm-principles-and-practices.htmlhtml

深刻FFM原理与实践

del2z, 大龙 ·2016-03-03 09:00git

FM和FFM模型是最近几年提出的模型,凭借其在数据量比较大而且特征稀疏的状况下,仍然可以获得优秀的性能和效果的特性,多次在各大公司举办的CTR预估比赛中得到不错的战绩。美团点评技术团队在搭建DSP的过程当中,探索并使用了FM和FFM模型进行CTR和CVR预估,而且取得了不错的效果。本文旨在把咱们对FM和FFM原理的探索和应用的经验介绍给有兴趣的读者。github

前言

在计算广告领域,点击率CTR(click-through rate)和转化率CVR(conversion rate)是衡量广告流量的两个关键指标。准确的估计CTR、CVR对于提升流量的价值,增长广告收入有重要的指导做用。预估CTR/CVR,业界经常使用的方法有人工特征工程 + LR(Logistic Regression)、GBDT(Gradient Boosting Decision Tree) + LR[1][2][3]、FM(Factorization Machine)[2][7]和FFM(Field-aware Factorization Machine)[9]模型。在这些模型中,FM和FFM近年来表现突出,分别在由Criteo和Avazu举办的CTR预测竞赛中夺得冠军[4][5]算法

考虑到FFM模型在CTR预估比赛中的不俗战绩,美团点评技术团队在搭建DSP(Demand Side Platform)[6]平台时,在站内CTR/CVR的预估上使用了该模型,取得了不错的效果。本文是基于对FFM模型的深度调研和使用经验,从原理、实现和应用几个方面对FFM进行探讨,但愿可以从原理上解释FFM模型在点击率预估上取得优秀效果的缘由。由于FFM是在FM的基础上改进得来的,因此咱们首先引入FM模型,本文章节组织方式以下:编程

  1. 首先介绍FM的原理。
  2. 其次介绍FFM对FM的改进。
  3. 而后介绍FFM的实现细节。
  4. 最后介绍模型在DSP场景的应用。

FM原理

FM(Factorization Machine)是由Konstanz大学Steffen Rendle(现任职于Google)于2010年最先提出的,旨在解决稀疏数据下的特征组合问题[7]。下面以一个示例引入FM模型。假设一个广告分类的问题,根据用户和广告位相关的特征,预测用户是否点击了广告。源数据以下[8]windows

Clicked? Country Day Ad_type
1 USA 26/11/15 Movie
0 China 1/7/14 Game
1 China 19/2/15 Game

"Clicked?"是label,Country、Day、Ad_type是特征。因为三种特征都是categorical类型的,须要通过独热编码(One-Hot Encoding)转换成数值型特征。多线程

Clicked? Country=USA Country=China Day=26/11/15 Day=1/7/14 Day=19/2/15 Ad_type=Movie Ad_type=Game
1 1 0 1 0 0 1 0
0 0 1 0 1 0 0 1
1 0 1 0 0 1 0 1

由上表能够看出,通过One-Hot编码以后,大部分样本数据特征是比较稀疏的。上面的样例中,每一个样本有7维特征,但平均仅有3维特征具备非零值。实际上,这种状况并非此例独有的,在真实应用场景中这种状况广泛存在。例如,CTR/CVR预测时,用户的性别、职业、教育水平、品类偏好,商品的品类等,通过One-Hot编码转换后都会致使样本数据的稀疏性。特别是商品品类这种类型的特征,如商品的末级品类约有550个,采用One-Hot编码生成550个数值特征,但每一个样本的这550个特征,有且仅有一个是有效的(非零)。因而可知,数据稀疏性是实际问题中不可避免的挑战。ide

One-Hot编码的另外一个特色就是致使特征空间大。例如,商品品类有550维特征,一个categorical特征转换为550维数值特征,特征空间剧增。函数

同时经过观察大量的样本数据能够发现,某些特征通过关联以后,与label之间的相关性就会提升。例如,“USA”与“Thanksgiving”、“China”与“Chinese New Year”这样的关联特征,对用户的点击有着正向的影响。换句话说,来自“China”的用户极可能会在“Chinese New Year”有大量的浏览、购买行为,而在“Thanksgiving”却不会有特别的消费行为。这种关联特征与label的正向相关性在实际问题中是广泛存在的,如“化妆品”类商品与“女”性,“球类运动配件”的商品与“男”性,“电影票”的商品与“电影”品类偏好等。所以,引入两个特征的组合是很是有意义的。性能

多项式模型是包含特征组合的最直观的模型。在多项式模型中,特征 xixi 和 xjxj 的组合采用 xixjxixj 表示,即 xixi 和 xjxj 都非零时,组合特征 xixjxixj 才有意义。从对比的角度,本文只讨论二阶多项式模型。模型的表达式以下

 

y(x)=w0+i=1nwixi+i=1nj=i+1nwijxixj(1)(1)y(x)=w0+∑i=1nwixi+∑i=1n∑j=i+1nwijxixj

 

其中,nn 表明样本的特征数量,xixi 是第 ii 个特征的值,w0w0、wiwi、wijwij 是模型参数。

从公式(1)(1)能够看出,组合特征的参数一共有 n(n1)2n(n−1)2 个,任意两个参数都是独立的。然而,在数据稀疏性广泛存在的实际应用场景中,二次项参数的训练是很困难的。其缘由是,每一个参数 wijwij 的训练须要大量 xixi 和 xjxj 都非零的样本;因为样本数据原本就比较稀疏,知足“xixi 和 xjxj 都非零”的样本将会很是少。训练样本的不足,很容易致使参数 wijwij 不许确,最终将严重影响模型的性能。

那么,如何解决二次项参数的训练问题呢?矩阵分解提供了一种解决思路。在model-based的协同过滤中,一个rating矩阵能够分解为user矩阵和item矩阵,每一个user和item均可以采用一个隐向量表示[8]。好比在下图中的例子中,咱们把每一个user表示成一个二维向量,同时把每一个item表示成一个二维向量,两个向量的点积就是矩阵中user对item的打分。

相似地,全部二次项参数 wijwij 能够组成一个对称阵 WW(为了方便说明FM的由来,对角元素能够设置为正实数),那么这个矩阵就能够分解为 W=VTVW=VTV,VV 的第 jj 列即是第 jj 维特征的隐向量。换句话说,每一个参数 wij=vi,vjwij=⟨vi,vj⟩,这就是FM模型的核心思想。所以,FM的模型方程为(本文不讨论FM的高阶形式)

 

y(x)=w0+i=1nwixi+i=1nj=i+1nvi,vjxixj(2)(2)y(x)=w0+∑i=1nwixi+∑i=1n∑j=i+1n⟨vi,vj⟩xixj

 

其中,vivi 是第 ii 维特征的隐向量,,⟨⋅,⋅⟩ 表明向量点积。隐向量的长度为 kk(k<<nk<<n),包含 kk 个描述特征的因子。根据公式(2)(2),二次项的参数数量减小为 knkn个,远少于多项式模型的参数数量。另外,参数因子化使得 xhxixhxi 的参数和 xixjxixj 的参数再也不是相互独立的,所以咱们能够在样本稀疏的状况下相对合理地估计FM的二次项参数。具体来讲,xhxixhxi 和 xixjxixj 的系数分别为 vh,vi⟨vh,vi⟩ 和 vi,vj⟨vi,vj⟩,它们之间有共同项 vivi。也就是说,全部包含“xixi 的非零组合特征”(存在某个 jij≠i,使得 xixj0xixj≠0)的样本均可以用来学习隐向量 vivi,这很大程度上避免了数据稀疏性形成的影响。而在多项式模型中,whiwhi 和 wijwij 是相互独立的。

显而易见,公式(2)(2)是一个通用的拟合方程,能够采用不一样的损失函数用于解决回归、二元分类等问题,好比能够采用MSE(Mean Square Error)损失函数来求解回归问题,也能够采用Hinge/Cross-Entropy损失来求解分类问题。固然,在进行二元分类时,FM的输出须要通过sigmoid变换,这与Logistic回归是同样的。直观上看,FM的复杂度是 O(kn2)O(kn2)。可是,经过公式(3)(3)的等式,FM的二次项能够化简,其复杂度能够优化到 O(kn)O(kn)[7]。因而可知,FM能够在线性时间对新样本做出预测。

 

i=1nj=i+1nvi,vjxixj=12f=1k⎛⎝⎜⎜(i=1nvi,fxi)2i=1nv2i,fx2i⎞⎠⎟⎟(3)(3)∑i=1n∑j=i+1n⟨vi,vj⟩xixj=12∑f=1k((∑i=1nvi,fxi)2−∑i=1nvi,f2xi2)

 

咱们再来看一下FM的训练复杂度,利用SGD(Stochastic Gradient Descent)训练模型。模型各个参数的梯度以下

 

θy(x)=⎧⎩⎨⎪⎪1,xi,xinj=1vj,fxjvi,fx2i,ifθisw0ifθiswiifθisvi,f∂∂θy(x)={1,ifθisw0xi,ifθiswixi∑j=1nvj,fxj−vi,fxi2,ifθisvi,f

 

其中,vj,fvj,f 是隐向量 vjvj 的第 ff 个元素。因为 nj=1vj,fxj∑j=1nvj,fxj 只与 ff 有关,而与 ii 无关,在每次迭代过程当中,只需计算一次全部 ff 的 nj=1vj,fxj∑j=1nvj,fxj,就可以方便地获得全部 vi,fvi,f 的梯度。显然,计算全部 ff 的 nj=1vj,fxj∑j=1nvj,fxj 的复杂度是 O(kn)O(kn);已知 nj=1vj,fxj∑j=1nvj,fxj 时,计算每一个参数梯度的复杂度是 O(1)O(1);获得梯度后,更新每一个参数的复杂度是 O(1)O(1);模型参数一共有 nk+n+1nk+n+1 个。所以,FM参数训练的复杂度也是 O(kn)O(kn)。综上可知,FM能够在线性时间训练和预测,是一种很是高效的模型。

FM与其余模型的对比

FM是一种比较灵活的模型,经过合适的特征变换方式,FM能够模拟二阶多项式核的SVM模型、MF模型、SVD++模型等[7]

相比SVM的二阶多项式核而言,FM在样本稀疏的状况下是有优点的;并且,FM的训练/预测复杂度是线性的,而二项多项式核SVM须要计算核矩阵,核矩阵复杂度就是N平方。

相比MF而言,咱们把MF中每一项的rating分改写为 ruiβu+γi+xTuyirui∼βu+γi+xuTyi,从公式(2)(2)中能够看出,这至关于只有两类特征 uu 和 ii 的FM模型。对于FM而言,咱们能够加任意多的特征,好比user的历史购买平均值,item的历史购买平均值等,可是MF只能局限在两类特征。SVD++与MF相似,在特征的扩展性上都不如FM,在此再也不赘述。

FFM原理

FFM(Field-aware Factorization Machine)最初的概念来自Yu-Chin Juan(阮毓钦,毕业于中国台湾大学,如今美国Criteo工做)与其比赛队员,是他们借鉴了来自Michael Jahrer的论文[14]中的field概念提出了FM的升级版模型。经过引入field的概念,FFM把相同性质的特征归于同一个field。以上面的广告分类为例,“Day=26/11/15”、“Day=1/7/14”、“Day=19/2/15”这三个特征都是表明日期的,能够放到同一个field中。同理,商品的末级品类编码生成了550个特征,这550个特征都是说明商品所属的品类,所以它们也能够放到同一个field中。简单来讲,同一个categorical特征通过One-Hot编码生成的数值特征均可以放到同一个field,包括用户性别、职业、品类偏好等。在FFM中,每一维特征 xixi,针对其它特征的每一种field fjfj,都会学习一个隐向量 vi,fjvi,fj。所以,隐向量不只与特征相关,也与field相关。也就是说,“Day=26/11/15”这个特征与“Country”特征和“Ad_type"特征进行关联的时候使用不一样的隐向量,这与“Country”和“Ad_type”的内在差别相符,也是FFM中“field-aware”的由来。

假设样本的 nn 个特征属于 ff 个field,那么FFM的二次项有 nfnf个隐向量。而在FM模型中,每一维特征的隐向量只有一个。FM能够看做FFM的特例,是把全部特征都归属到一个field时的FFM模型。根据FFM的field敏感特性,能够导出其模型方程。

 

y(x)=w0+i=1nwixi+i=1nj=i+1nvi,fj,vj,fixixj(4)(4)y(x)=w0+∑i=1nwixi+∑i=1n∑j=i+1n⟨vi,fj,vj,fi⟩xixj

 

其中,fjfj 是第 jj 个特征所属的field。若是隐向量的长度为 kk,那么FFM的二次参数有 nfknfk 个,远多于FM模型的 nknk 个。此外,因为隐向量与field相关,FFM二次项并不可以化简,其预测复杂度是 O(kn2)O(kn2)。

下面以一个例子简单说明FFM的特征组合方式[9]。输入记录以下

User Movie Genre Price
YuChin 3Idiots Comedy, Drama $9.99

这条记录能够编码成5个特征,其中“Genre=Comedy”和“Genre=Drama”属于同一个field,“Price”是数值型,不用One-Hot编码转换。为了方便说明FFM的样本格式,咱们将全部的特征和对应的field映射成整数编号。

Field name Field index Feature name Feature index
User 1 User=YuChin 1
Movie 2 Movie=3Idiots 2
Genre 3 Genre=Comedy 3
Price 4 Genre=Drama 4
    Price 5

那么,FFM的组合特征有10项,以下图所示。

v1,2,v2,111+v1,3,v3,111+v1,3,v4,111+v1,4,v5,119.99+v2,3,v3,211+v2,3,v4,211+v2,4,v5,219.99+v3,3,v4,311+v3,4,v5,319.99+v4,4,v5,319.99⟨v1,2,v2,1⟩⋅1⋅1+⟨v1,3,v3,1⟩⋅1⋅1+⟨v1,3,v4,1⟩⋅1⋅1+⟨v1,4,v5,1⟩⋅1⋅9.99+⟨v2,3,v3,2⟩⋅1⋅1+⟨v2,3,v4,2⟩⋅1⋅1+⟨v2,4,v5,2⟩⋅1⋅9.99+⟨v3,3,v4,3⟩⋅1⋅1+⟨v3,4,v5,3⟩⋅1⋅9.99+⟨v4,4,v5,3⟩⋅1⋅9.99

 

其中,红色是field编号,蓝色是特征编号,绿色是此样本的特征取值。二次项的系数是经过与特征field相关的隐向量点积获得的,二次项共有 n(n1)2n(n−1)2 个。

FFM实现

Yu-Chin Juan实现了一个C++版的FFM模型,源码可从Github下载[10]。这个版本的FFM省略了常数项和一次项,模型方程以下。

 

ϕ(w,x)=j1,j22wj1,f2,wj2,f1xj1xj2(5)(5)ϕ(w,x)=∑j1,j2∈C2⟨wj1,f2,wj2,f1⟩xj1xj2

 

其中,2C2 是非零特征的二元组合,j1j1 是特征,属于field f1f1,wj1,f2wj1,f2 是特征 j1j1 对field f2f2 的隐向量。此FFM模型采用logistic loss做为损失函数,和L2惩罚项,所以只能用于二元分类问题。

 

minwi=1Llog(1+exp{yiϕ(w,xi)})+λ2w2minw∑i=1Llog⁡(1+exp⁡{−yiϕ(w,xi)})+λ2‖w‖2

 

其中,yi{1,1}yi∈{−1,1} 是第 ii 个样本的label,LL 是训练样本数量,λλ 是惩罚项系数。模型采用SGD优化,优化流程以下。

参考 Algorithm1Algorithm1, 下面简单解释一下FFM的SGD优化过程。
算法的输入 trtr、vava、papa 分别是训练样本集、验证样本集和训练参数设置。

  1. 根据样本特征数量(tr.ntr.n)、field的个数(tr.mtr.m)和训练参数(papa),生成初始化模型,即随机生成模型的参数;
  2. 若是归一化参数 pa.normpa.norm 为真,计算训练和验证样本的归一化系数,样本 ii 的归一化系数为
    R[i]=1X[i]R[i]=1‖X[i]‖
  3. 对每一轮迭代,若是随机更新参数 pa.randpa.rand 为真,随机打乱训练样本的顺序;
  4. 对每个训练样本,执行以下操做
    • 计算每个样本的FFM项,即公式(5)(5)中的输出 ϕϕ;
    • 计算每个样本的训练偏差,如算法所示,这里采用的是交叉熵损失函数 log(1+eϕ)log⁡(1+eϕ);
    • 利用单个样本的损失函数计算梯度 gΦgΦ,再根据梯度更新模型参数;
  5. 对每个验证样本,计算样本的FFM输出,计算验证偏差;
  6. 重复步骤3~5,直到迭代结束或验证偏差达到最小。

在SGD寻优时,代码采用了一些小技巧,对于提高计算效率是很是有效的。

第一,梯度分步计算。采用SGD训练FFM模型时,只采用单个样本的损失函数来计算模型参数的梯度。

 

=err+reg=log(1+exp{yiϕ(w,xi)})+λ2w2L=Lerr+Lreg=log⁡(1+exp⁡{−yiϕ(w,xi)})+λ2‖w‖2

 

 

w=errϕϕw+regw∂L∂w=∂Lerr∂ϕ⋅∂ϕ∂w+∂Lreg∂w

 

上面的公式代表,errϕ∂Lerr∂ϕ 与具体的模型参数无关。所以,每次更新模型时,只需计算一次,以后直接调用 errϕ∂Lerr∂ϕ 的值便可。对于更新 nfknfk 个模型参数,这种方式可以极大提高运算效率。

第二,自适应学习率。此版本的FFM实现没有采用经常使用的指数递减的学习率更新策略,而是利用 nfknfk 个浮点数的临时空间,自适应地更新学习率。学习率是参考AdaGrad算法计算的[11],按以下方式更新

 

wj1,f2=wj1,f2η1+t(gtwj1,f2)2‾‾‾‾‾‾‾‾‾‾‾‾‾‾√gwj1,f2wj1,f2′=wj1,f2−η1+∑t(gwj1,f2t)2⋅gwj1,f2

 

其中,wj1,f2wj1,f2 是特征 j1j1 对field f2f2 隐向量的一个元素,元素下标未标出;gwj1,f2gwj1,f2 是损失函数对参数 wj1,f2wj1,f2 的梯度;gtwj1,f2gwj1,f2t 是第 tt 次迭代的梯度;ηη 是初始学习率。能够看出,随着迭代的进行,每一个参数的历史梯度会慢慢累加,致使每一个参数的学习率逐渐减少。另外,每一个参数的学习率更新速度是不一样的,与其历史梯度有关,根据AdaGrad的特色,对于样本比较稀疏的特征,学习率高于样本比较密集的特征,所以每一个参数既能够比较快速达到最优,也不会致使验证偏差出现很大的震荡。

第三,OpenMP多核并行计算。OpenMP是用于共享内存并行系统的多处理器程序设计的编译方案,便于移植和多核扩展[12]。FFM的源码采用了OpenMP的API,对参数训练过程SGD进行了多线程扩展,支持多线程编译。所以,OpenMP技术极大地提升了FFM的训练效率和多核CPU的利用率。在训练模型时,输入的训练参数ns_threads指定了线程数量,通常设定为CPU的核心数,便于彻底利用CPU资源。

第四,SSE3指令并行编程。SSE3全称为数据流单指令多数据扩展指令集3,是CPU对数据层并行的关键指令,主要用于多媒体和游戏的应用程序中[13]。SSE3指令采用128位的寄存器,同时操做4个单精度浮点数或整数。SSE3指令的功能很是相似于向量运算。例如,aa 和 bb 采用SSE3指令相加(aa 和 bb 分别包含4个数据),其功能是 aa 中的4个元素与 bb 中4个元素对应相加,获得4个相加后的值。采用SSE3指令后,向量运算的速度更加快捷,这对包含大量向量运算的FFM模型是很是有利的。

除了上面的技巧以外,FFM的实现中还有不少调优技巧须要探索。例如,代码是按field和特征的编号申请参数空间的,若是选取了非连续或过大的编号,就会形成大量的内存浪费;在每一个样本中加入值为1的新特征,至关于引入了因子化的一次项,避免了缺乏一次项带来的模型误差等。

FFM应用

在DSP的场景中,FFM主要用来预估站内的CTR和CVR,即一个用户对一个商品的潜在点击率和点击后的转化率。

CTR和CVR预估模型都是在线下训练,而后用于线上预测。两个模型采用的特征大同小异,主要有三类:用户相关的特征、商品相关的特征、以及用户-商品匹配特征。用户相关的特征包括年龄、性别、职业、兴趣、品类偏好、浏览/购买品类等基本信息,以及用户近期点击量、购买量、消费额等统计信息。商品相关的特征包括所属品类、销量、价格、评分、历史CTR/CVR等信息。用户-商品匹配特征主要有浏览/购买品类匹配、浏览/购买商家匹配、兴趣偏好匹配等几个维度。

为了使用FFM方法,全部的特征必须转换成“field_id:feat_id:value”格式,field_id表明特征所属field的编号,feat_id是特征编号,value是特征的值。数值型的特征比较容易处理,只需分配单独的field编号,如用户评论得分、商品的历史CTR/CVR等。categorical特征须要通过One-Hot编码成数值型,编码产生的全部特征同属于一个field,而特征的值只能是0或1,如用户的性别、年龄段,商品的品类id等。除此以外,还有第三类特征,如用户浏览/购买品类,有多个品类id且用一个数值衡量用户浏览或购买每一个品类商品的数量。这类特征按照categorical特征处理,不一样的只是特征的值不是0或1,而是表明用户浏览或购买数量的数值。按前述方法获得field_id以后,再对转换后特征顺序编号,获得feat_id,特征的值也能够按照以前的方法得到。

CTR、CVR预估样本的类别是按不一样方式获取的。CTR预估的正样本是站内点击的用户-商品记录,负样本是展示但未点击的记录;CVR预估的正样本是站内支付(发生转化)的用户-商品记录,负样本是点击但未支付的记录。构建出样本数据后,采用FFM训练预估模型,并测试模型的性能。

  #(field) #(feature) AUC Logloss
站内CTR 39 2456 0.77 0.38
站内CVR 67 2441 0.92 0.13

因为模型是按天训练的,天天的性能指标可能会有些波动,但变化幅度不是很大。这个表的结果说明,站内CTR/CVR预估模型是很是有效的。

在训练FFM的过程当中,有许多小细节值得特别关注。

第一,样本归一化。FFM默认是进行样本数据的归一化,即 pa.normpa.norm 为真;若此参数设置为假,很容易形成数据inf溢出,进而引发梯度计算的nan错误。所以,样本层面的数据是推荐进行归一化的。

第二,特征归一化。CTR/CVR模型采用了多种类型的源特征,包括数值型和categorical类型等。可是,categorical类编码后的特征取值只有0或1,较大的数值型特征会形成样本归一化后categorical类生成特征的值很是小,没有区分性。例如,一条用户-商品记录,用户为“男”性,商品的销量是5000个(假设其它特征的值为零),那么归一化后特征“sex=male”(性别为男)的值略小于0.0002,而“volume”(销量)的值近似为1。特征“sex=male”在这个样本中的做用几乎能够忽略不计,这是至关不合理的。所以,将源数值型特征的值归一化到 [0,1][0,1] 是很是必要的。

第三,省略零值特征。从FFM模型的表达式(4)(4)能够看出,零值特征对模型彻底没有贡献。包含零值特征的一次项和组合项均为零,对于训练模型参数或者目标值预估是没有做用的。所以,能够省去零值特征,提升FFM模型训练和预测的速度,这也是稀疏样本采用FFM的显著优点。

后记

本文主要介绍了FFM的思路来源和理论原理,并结合源码说明FFM的实际应用和一些小细节。从理论上分析,FFM的参数因子化方式具备一些显著的优点,特别适合处理样本稀疏性问题,且确保了较好的性能;从应用结果来看,站内CTR/CVR预估采用FFM是很是合理的,各项指标都说明了FFM在点击率预估方面的卓越表现。固然,FFM不必定适用于全部场景且具备超越其余模型的性能,合适的应用场景才能成就FFM的“威名”。

参考文献

    1. http://blog.csdn.net/lilyth_lilyth/article/details/48032119
    2. http://www.cnblogs.com/Matrix_Yao/p/4773221.html
    3. http://www.herbrich.me/papers/adclicksfacebook.pdf
    4. https://www.kaggle.com/c/criteo-display-ad-challenge
    5. https://www.kaggle.com/c/avazu-ctr-prediction
    6. https://en.wikipedia.org/wiki/Demand-side_platform
    7. http://www.algo.uni-konstanz.de/members/rendle/pdf/Rendle2010FM.pdf
    8. http://www.cs.cmu.edu/~wcohen/10-605/2015-guest-lecture/FM.pdf
    9. http://www.csie.ntu.edu.tw/~r01922136/slides/ffm.pdf
    10. https://github.com/guestwalk/libffm
    11. https://en.wikipedia.org/wiki/Stochastic_gradient_descent#AdaGrad
    12. http://openmp.org/wp/openmp-specifications/
    13. http://blog.csdn.net/gengshenghong/article/details/7008704
    14. https://kaggle2.blob.core.windows.net/competitions/kddcup2012/2748/media/Opera.pdf