决策树——机器学习(周志华)

决策树 决策数学习的基本算法 划分选择 决策树的关键在第8行，如何选择最优划分属性，一般而言，随着划分过程不断进行，我们希望决策树的分支节点所包含的样本尽可能属于同一类别，即节点的“纯度”越来越高。 信息增益 “信息熵”是度量样本集合纯度最常用的一种指标。 信息熵 E n t ( D ) = − ∑ k = 1 ∣ y ∣ p k l o g ( p k ) Ent(D) = -\sum_{k=1

>>阅读原文<<