决策树剪枝算法原理 损失函数 正则化

算法目的：决策树的剪枝是为了简化决策树模型，避免过拟合。 同样层数的决策树，叶结点的个数越多就越复杂；同样的叶结点个数的决策树，层数越多越复杂。 剪枝前相比于剪枝后，叶结点个数和层数只能更多或者其中一特征一样多，剪枝前必然更复杂。 层数越多，叶结点越多，分的越细致，对训练数据分的也越深，越容易过拟合，导致拟合测试数据时反而效果差。 算法基本思路：剪去决策树模型中的一些子树或者叶结点，并将其上层的根

>>阅读原文<<