关于决策树的特征选择， 信息量/信息熵/相对熵/交叉熵的例子

说到决策树，必须了解信息熵。html 在没有接触机器学习以前，知道熵这个概念：描述事务的混乱程度。  （固然，有更准确的或不一样维度的定义，好比 能量中不能用来作功的部分） 若是没有外力，世界老是在熵增。 好比气体扩散后不可能本身缩回去。 而换个角度想，咱们老是想去作一些事，让熵减。一个乱糟糟堆满各式各样东西的桌子，若是付出时间和力气，把它整理得干干净净分门别类， 那它就从熵多到熵少了。 相似地，

>>阅读原文<<