GBDT(梯度提升决策树)

gbdt树分为两种， （1）残差版本  　 残差其实就是真实值和预测值之间的差值，在学习的过程中，首先学习一颗回归树，然后将“真实值-预测值”得到残差，再把残差作为一个学习目标，学习下一棵回归树，依次类推，直到残差小于某个接近0的阀值或回归树数目达到某一阀值。其核心思想是每轮通过拟合残差来降低损失函数。  　　总的来说，第一棵树是正常的，之后所有的树的决策全是由残差来决定。 （2）梯度版本  　　

>>阅读原文<<