信息熵、信息增益以及决策树

什么是信息熵？ 信息熵是信息论的范畴，利用概率论和统计的方法，因此信息熵也被称为基于概率分布的信息熵。在介绍信息熵概念之前，先介绍一个基本的概念：区分能力。所谓区分能力是指把对象划分到具体分组的能力，比如金庸武侠小说里的英雄人物，每一个武侠人物都是性别、智商、情商、侠义、个性5个属性，如何根据这个5个属性来区分不同的武侠人物。如果某个属性可以将被测试的人物尽可能分到相应的组，那么可以认为这个问题的

>>阅读原文<<