决策树-熵 理解和使用

熵开始是应用在物理学的，后来才应用到信息，等多个领域。git 熵值表示系统的不肯定性大小，熵值越大表示的系统越不稳定,公式以下:github p(xi) 是第i个元素的几率,  H(X)是整个系统的熵值算法      决策树特色:spa         优势:   计算复杂的不高，输出结果易于理解，对中间的缺失值不敏感code        缺点:  可能会产生过分匹配的问题blog      

>>阅读原文<<