CART,回归树,GBDT,XGBoost,LightGBM一路理解过来

CART,回归树,GBDT,XGBoost,LightGBM CART: 根据特征的阈值 把叶子节点的类别归为离散的类别   XGBoost的四大改进: ①改进残差函数 不用Gini作为残差,用二阶泰勒展开+树的复杂度(正则项) 带来如下好处: 1.可以控制树的复杂度 2.带有关于梯度的更多信息,获得了二阶导数 3.可以用线性分类器 ②采用预排序 因为每一次迭代中,都要生成一个决策树,而这个决策树
相关文章
相关标签/搜索