决策树、CART、GBDT、Xgboost学习笔记

一、决策树 决策树由结点和有向边组成,结点又分为内部结点和叶结点。从本质上来看,决策树的学习过程包括特征选择,决策树生成和决策树剪枝3个部分。 1.1决策树特征选择 所谓决策树特征选择即选择合适的特征作为结点对训练样本进行划分,通常使用信息增益或者信息增益比作为特征选择的标准。 信息增益 g(D,A)=H(D)−H(D|A)=−∑k=1K|Ck||D|log2|Ck||D|+∑i=1n|Di||D
相关文章
相关标签/搜索