基于ID3、C4.5算法的决策树相关知识

文章目录 基础概念 熵 条件熵 信息增益 信息增益比 决策树生成 ID3生成算法 决策树剪枝 C4.5生成算法 基础概念 熵 离散型变量X的概率分布是P(X)。它的熵 H ( X )    o r    H ( P ) {H(X) \; or \; H(P)} H(X)orH(P)越大，代表越均匀、越混乱、越不确定。熵的公式如下： H ( P ) = − ∑ x ∈ X P ( x ) log ⁡

>>阅读原文<<