决策树理论基础——信息和熵

什么是信息和熵？ 上图为例，有这样一个事件，一个体遇到一个A、B、C、D四个选项的选择题，因为每一个选项对的概率都是25%，就造成他的苦恼。 上图中，当一个事件(宏观态）有多种可能情况(微观态)发生时，这种事件对个体而言具体哪种情况的不确定性叫熵。而能够消除人对这事件的不确定性的事物叫信息。 熵和信息虽然在数量上是相等的，但意义相反。获取信息意味着消除不确定性(熵)。 信息描述的是一个观察者确定一

>>阅读原文<<