决策树和GBDT

时间 2021-01-09

原文原文链接

回顾下Adaboost，我们是利用前一轮迭代弱学习器的误差率来更新训练集的权重，这样一轮轮的迭代下去。 gbdt 的算法的流程 gbdt通过多轮迭代,每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的梯度（如果损失函数是平方损失函数，则梯度就是残差值）基础上进行训练。弱分类器一般会选择为CART TREE（也就是分类回归树）但是其实我们真正关注的，1.是希望损失函数能够不断的减小，2.是希望损

>>阅读原文<<

1. 决策树、决策森林和GBDT
2. 决策树、GBDT、XGBoost和LightGBM之GBDT
3. Boosting决策树：GBDT
4. 从决策树到gbdt
5. 决策树-RF-GBDT-XGboost-LightGBM
6. 决策树-GBDT-RF-Xgboost
7. feature_importances_ - 从决策树到gbdt
8. GBDT/GBRT迭代决策树
9. 决策树、GBDT、XGBoost和LightGBM之XGBoost
10. GBDT梯度提高决策树小结
更多相关文章...
• XML 树结构 - XML 教程
• SVN 解决冲突 - SVN 教程
• Scala 中文乱码解决
• IntelliJ IDEA 代码格式化配置和快捷键