xgboost基本原理

目标函数 其中，上式第一项称为误差函数，常见的误差函数有平方误差，logistic误差等等，第二项称为正则项，常见的有L1正则和L2正则，表示树的复杂度的函数，越小复杂度越低，泛化能力越强。 基学习器 分类树和回归树（CART） 树集成 模型学习 每一次保留原来的模型不变，加入一个新的函数f到我们的模型中。 f 的选择标准—最小化目标函数！ 通过二阶泰勒展开等，我们得到了最终的目标函数： G、H：

>>阅读原文<<