集成学习从放弃到再入门之GBDT

梯度下降法 在机器学习任务中，需要最小化损失函数L(θ)，其中θ是要求解的模型参数。梯度下降法常用来求解这种无约束最优化问题，它是一种迭代方法。 具体推导为： 这里的α是步长，也就是我们通常所说的学习速率，在深度学习中需要调制的参数，可通过line search确定，但一般直接赋一个小的数。 GBDT GBDT是梯度下降法从参数空间上升到函数空间的算法，也是集成学习Boosting家族的成员，但是

>>阅读原文<<