提升树，梯度提升树（GBDT）笔记

决策树可以分为二叉分类树或者二叉回归树，刚刚我们讲了分类树，现在介绍一下回归树。回归问题是用来处理连续值。 提升树采用了前向分布算法，模型如下： 公式分析： 算法目标：图中的x，y图表示的就是，曲线上的点就是这个回归树所预测到的残差的预测值，我们最后要的就是预测值接近真实的残差就是去拟合这个残差（Fitted residual），让损失函数（Loss）最小。 例子 初始化的10个点： 开始找第一课

>>阅读原文<<