决策树中的熵(一)

熵在决策树中起到了绝对作用,贯穿决策树的中心。大家都知道,决策树最重要的就是最优属性选择,这个最优属性选择的标准就是依靠熵,不管是ID3,C4.5还是CART算法都是基于熵来选择最优属性。多说一句,何为最优属性,通俗的讲,属性那么多,依次按属性划分,哪个或者哪些属性是最重要的。对,就是最重要的概念(本人的理解)!!!最重要的先考虑。 通俗介绍决策树中关于熵的理解,包括熵、条件熵、相对熵、互信息以及
相关文章
相关标签/搜索