XGBoost原理简介

模型函数形式 正则化的目标函数 梯度提升树 令 y^(t)i 表示第t次迭代时对第i个样本的预测值。现在需要添加 ft 来使得下面的目标函数最小化 L(t)≈∑i=1nl(yi,yi^(t−1)+ft(xi))+Ω(ft) 二阶近似算法可以用来快速优化目标函数。 样本累加统一为叶结点累加形式 可以看到当前的损失函数为 L^(t)==∑i=1n[gift(xi)+12f2t(xi)]+Ω(ft)∑i

>>阅读原文<<