条件熵，信息增益（互信息）与特征选择

一定要先搞清楚什么是信息量，什么是信息熵。参考博文：http://www.javashuo.com/article/p-zpzulfnt-rs.html 一，什么是信息量？ 简言之，就是把信源看做是一个随机变量。消息（信号）就是随机变量的取值，比如a1，a2···an。信息就是这些随机变量的不确程度（发生概率越低，不确定性越大），公式如下。为什么写成这样呢？原因有二。第一：概率和信息量（不确定性）

>>阅读原文<<