xgboost

集成学习 共同点： 都是由很多弱分类器构成的。(弱分类器：表现不太好的分类器) 区别： bagging：过拟合 boosting：欠拟合 提升树： 基于残差做训练 随机森林： 随机森林是同时训练多个模型，预测的时候通过加权平均方式(投票)来参与。 xgboost： 相加来参与 思路详解 跟逻辑回归的连续性的优化问题不同。xgboost是个离散值的优化问题。 损失函数l可在后面任意选择。 树的复杂度

>>阅读原文<<