十大经典预测算法（九）---GBDT

　　GBDT又叫梯度提高决策树，它也属于Boosting框架。GBDT核心原理以下：

　　如图所示，用GBDT预测年龄，第一轮，预测到年龄为20，它和真实值之间的残差为10，第二轮，GBDT开始预测上一轮的残差10，预测结果为6，这一轮 的残差为4，第三轮，以年龄4为预测目标，预测来的值为3，和真实值之间相差1，最后以残差1为预测目标，预测结果为1，此时残差为0，预测结束，最后把以前模型预测的结果所有相加，就获得预测的真实值为30岁

　　因此，GBDT的核心原理是先用初始值预测一颗决策树，获得本轮的残差，即真实值减预测值，而后用残差做为下一轮决策树的预测对象，这时会再产生一个残差，再用这个残差做为下一轮的预测对象，以此循环迭代直到最后一轮的预测残差为0或很是小的时候就中止迭代，而后把全部轮的模型预测结果相加获得最终预测结果，GBDT核心原理以下图所示

 

GBDT和AdaBoost的异同

类似之处：

　　都是基于Boosting思想的融合算法

　　默认的基分类器都是决策树

　　AdaBoost实际上是GBDT的一个特例

不一样之处：

　　AdaBoost的基分类器能够选择更多的算法，而GBDT只能选决策树

　　GBDT的模型提高方法与AdaBoost不一样，AdaBoost是经过不断增强对错判数据的权重学习来提高模型的预测效果，而GBDT则是经过不断下降模型偏差来（学习残差）的思想来提高模型的预测效果