机器学习之提升

一、提升算法 提升定义：提升是一个机器学习技术，可以用于回归和分类问题，它每一步产生一个弱预测模型（如决策树），并加权累加到总模型中；如果每一步的弱预测模型生成都是依据损失函数的梯度方向，则称之为梯度提升； 梯度提升：首先给定一个目标损失函数，它的定义域是所有可行的弱函数集合（基函数)；提升算法通过迭代的选择一个负梯度方向上的基函数来逐渐逼近局部极小值。这种在函数域的梯度提升观点对机器学习的很多领

>>阅读原文<<