xgboost 原论文精读 原理推导 + sklearn参数讲解

梯度提升树 现在站在大神的角度来回顾一下梯度提升树 正则化的目标函数 给定训练集D，含有n个样本m个特征 一个含有k棵树的集成模型 F当然就是回归决策树的空间啦。q是每棵树的结构，T是每个树的叶子数量。每棵树都有独立的树结构q以及叶子权重w。不同于决策树，每个回归树的叶子都包含了一个连续的分数，我们使用w同表示这个叶子的分数。举个例子来说，我们将使用给定树的决策规则来分类为叶子。那么最终的预测结果

>>阅读原文<<