关于决策树的特征选择， 信息量/信息熵/相对熵/交叉熵的例子

说到决策树，必须了解信息熵。 在没有接触机器学习之前，知道熵这个概念：描述事务的混乱程度。  （当然，有更准确的或不同维度的定义，比如 能量中不能用来做功的部分） 如果没有外力，世界总是在熵增。 比如气体扩散后不可能自己缩回去。 而换个角度想，我们总是想去做一些事，让熵减。一个乱糟糟堆满各式各样东西的桌子，如果付出时间和力气，把它整理得干干净净分门别类， 那它就从熵多到熵少了。 类似地，统计学/机

>>阅读原文<<