xgboost与gbdt

1.先明确一下分类树和回归树的概念： 分类树使用信息增益或增益比率来划分节点；每个节点样本的类别情况投票决定测试样本的类别。 回归树使用最大均方差划分节点；每个节点样本的均值作为测试样本的回归预测值。 2.都是利用了boosting思想，最小化残差（偏差）。 3.GBDT的基学习器一定是DT，而且是利用残差梯度构造基学习器，基学习器是先训练好的，再确定叶节点的输出（树的预测值，也就是权重w）。Xg

>>阅读原文<<