机器学习算法05之 —— XGBoost

  训练： 根据OBJ(Gain,根据每个叶子结点损失函数的一阶二阶导数计算)损失函数，使用贪心算法，从很多种结构的树中选出最优的树作为当前迭代层的树，一层一层选出每一层的最优树，相加。主要工作有两个：1.确定每层树的最优结构 2.确定每层树的最优叶子节点的分值。 预测： 将样本 i 放到树 j 中，找到样本 i 在树 j 中被分到的叶子节点的预测值score(根据每个叶子结点损失函数的一阶二阶导

>>阅读原文<<