前向分步算法 && AdaBoost算法 && 提升树（GBDT）算法 && XGBoost算法

1. 提升方法 提升（boosting）方法是一种常用的统计学方法，在分类问题中，它通过逐轮不断改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能 0x1: 提升方法的基本思路 提升方法基于这样一种思想：对于一个复杂任务来说，将多个专家的判断进行适当（按照一定权重）的综合（例如线性组合加法模型）所得出的判断，要比其中任何一个专家单独的判断好 历史上，Kearns和Val

>>阅读原文<<