决策树理论

在谈决策树以前咱们须要先理解信息熵这个概念。信息熵是信息的不肯定性的一个纯数字度量。信息熵越大这说明事件的不肯定性越大。什么叫事件的不肯定性呢？事件不肯定也就是这个事件的结果有不少种可能。好比咱们掷骰子。咱们会有六种等几率的结果。对于掷骰子的结果咱们是不肯定的。可是若是咱们的骰子6个面都是1。那么咱们掷骰子的结果就是肯定的。这时候事件的不肯定性就为0.也就是肯定的。这个不肯定性也叫作这个事件的信息

>>阅读原文<<