gboost算法的推导

一、xgboost的原理 首先值得说明的是，xgboost是gbdt的升级版，有兴趣的话可以先看看gbdt的推导。xgboost同样是构造一棵棵树来拟合残差; 不同之处在于 （1）gbdt使用一阶导，xgboost使用二阶导。 （2）xgboost在loss中包括模型复杂度，gbdt没有。 二、xgboost的推导 首先我们来定义一下模型： 1.符号定义： 2.模型定义 　　　 假设我们迭代T轮，

>>阅读原文<<