决策树与集成学习的结合——GBDT和XGBoost

这两个算法在面经中提到较多,故而整理一下。 1.集成学习(将多个弱学习器组合成为强学习器) 串行:Boosting,后一个学习器依赖于前一个,故为串行 比较有名的是AdaBoost,每次迭代训练一个学习器,并提高前一轮学习器分类错误样本的权值,降低分类正确的权值 并行:bagging(样本扰动)、随机森林(样本扰动和属性扰动)   Bagging和Boosting的区别: 1)样本选择上:Bagg
相关文章
相关标签/搜索