【机器学习】 XGBoost算法梳理

前言：XGBoost原理上跟普通GBDT一样，都属于集成算法中的boost类。boost的原理可以看我的另外两篇介绍集成学习的文章，这里不多赘述。所以这篇文章主要在XGB与普通GBDT不同之处进行讨论。 1.损失函数 XGB的损失函数是支持自定义的，只要满足二阶可导即可。 XGB的损失函数除了拟合上一轮残差部分，还自带了两个损失项以减少树模型复杂度： 先讨论简单的，正则化部分： 系数：这里的γ和λ

>>阅读原文<<