决策树和CART决策树

首先简单介绍下决策树： 说到决策树确定离不开信息熵 什么是信息熵（不要被这名字唬住，其实很简单）？ 一个不太可能的时间竟然发生了，要比一个很是可能的时间发生提供更多的信息。消息说：“今天早上太阳升起”。信息量是不多的，以致于没有必要发送。但另外一条消息说：“今天早上日食”。信息量就很丰富。 几率越大信息量就越少,与几率成反比 1p I(x)=logP(x)−1=−logP(x) 至于为何取log能

>>阅读原文<<