决策树中的熵（一）

熵在决策树中起到了绝对做用，贯穿决策树的中心。你们都知道，决策树最重要的就是最优属性选择，这个最优属性选择的标准就是依靠熵，无论是ID3，C4.5仍是CART算法都是基于熵来选择最优属性。多说一句，何为最优属性，通俗的讲，属性那么多，依次按属性划分，哪一个或者哪些属性是最重要的。对，就是最重要的概念（本人的理解）！！！最重要的先考虑。 通俗介绍决策树中关于熵的理解，包括熵、条件熵、相对熵、互信息以

>>阅读原文<<