对信息熵，信息增益的研究

对信息熵，信息增益的研究算法 0 引言 1948年香农提出“信息熵”的概念，解决了对信息的量化度量问题。信息熵这个词是C．E．香农从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不肯定度。函数 在信息增益中，衡量标准是看特征可以为分类系统带来多少信息，带来的信息越多，该特征越重要。对一个特征而言，系统有它和没它时信息量将发生变化，而先后信息量的差值

>>阅读原文<<