决策树的相关知识点——信息熵，条件熵，量化度量指标

1.信息熵的意义及解算：代表样本所包含的信息量，用来描述数据的不确定性。 高信息熵：即变量是均匀分布的；低信息熵：变量分布不均，有的事件发生概率可能比较大。 举例1： 那么“专业”的信息熵：H(X) = -[p(数学)*log2(p(数学)) + p(IT)*log2(p(IT)) + p(英语)*log2(p(英语))]                =-[0.5*log2(0.5) + 0.2

>>阅读原文<<