机器学习经典算法（3）决策树

越在根节点（父节点）的信息越重要，也就是其信息增益越大，信息增益的大小可以用信息熵公式进行计算： 举个可能不够恰当的例子。我们目前有如下数据，分类结果（叶节点）为  下雨 / 晴天： 分类结果的信息熵（下雨 或 晴天 这个数据 的信息熵）： -(1/2 * log(1/2) + 1/2 * log(1/2)) = 0.301（下雨 晴天 各6天，概率p均为1/2） 太阳（父节点）的有无（条件）对分

>>阅读原文<<