分类树（信息熵与基尼指数）

文章目录 一，决策树的直观理解 二，分类树 2.1 信息熵 2.2 条件信息熵 示例 2.3 基尼指数（Gini不纯度） 示例 一，决策树的直观理解 二，分类树 2.1 信息熵 信息熵是用来衡量信息不确定性的指标，不确定性是一个事件出现不同结果的可能性。（越小越好） 计算如下： 其中：P(X=i)为随机变量x取值为i的概率 举个例子，如下： 可以看出，第一种的不确定性更高（信息熵较大） 2.2 条

>>阅读原文<<