XGboost算法原理

用到的数学基础：泰勒公式 目标函数 关于目标函数，分开两部分讨论： 损失函数 正则项 损失函数 XGboost是一堆CART树，做预测时就是将各棵树的预测分数相加，当有t棵树时： 将上式带入目标函数： f(x)是我们要求的，将上式用泰勒公式展开： 正则项 正则项里的w就是f(x),表示每个叶子节点对应的权重 合并 目标函数变为2次函数，求导，即得w

>>阅读原文<<