XGBoost简单理解

GBDT与XGBOOST比较 XGBoost对GBDT的改进1 . 避免过拟合目标函数之外加上了正则化项整体求最优解，用以权衡目标函数的下降和模型的复杂程度，避免过拟合。基学习为CART时，正则化项与树的叶子节点的数量T和叶子节点的值有关。 2 . 二阶的泰勒展开，精度更高不同于传统的GBDT只利用了一阶的导数信息的方式，XGBoost对损失函数做了二阶的泰勒展开，精度更高。 第t次的损失函数：

>>阅读原文<<