机器学习之决策树模型

在实现决策树模型之前，先需要了解信息的熵，熵被定义为信息的期望值，下面说明信息熵的计算方法：          假如事件发生的可能性包括A，B，C三类；那么计算分类A的熵按照以下方式          L(A) = -log2P(A)          其中L(A)为分类A的熵。P(A)为事件发生后是A类的概率（可能性）。那么所有类别的熵计算方式如下：          H = -∑P(xi)lo

>>阅读原文<<