XGBoost和GBDT的区别与联系

GBDT 提升树利用加法模型与前向分布算法实现学习的优化过程。当损失函数是平方损失和指数损失函数时，每一步优化是很简单的。但是对一般损失函数而言，往往每一步优化并不是那么容易。针对这一问题，Freidman提出了梯度提升算法。这是利用最速下降法的近似方法，其关键是利用损失函数在当前模型的值： 算法第1步初始化，估计使损失函数极小化的常数值，它是只有一个根节点的树，第2（a）步计算损失函数的负梯度在

>>阅读原文<<