决策树详解（上）

文章目录 基本概念 ID3 算法 C4.5 算法 决策树的剪枝 决策树是一种基本的分类与回归方法。决策树的学习包含三个步骤：特征选择、决策树的生成、决策树的修剪。决策树根据不同的特征选择原则分为ID3算法、C4.5算法、CART算法。 基本概念 在介绍决策树之前先来了解一些基本相关概念。 1、熵 熵是随机变量不确定性的度量。设X是一个有限取值的离散随机变量，其概率分布为： P ( X = x i

>>阅读原文<<