机器学习 信息熵 条件熵 相对熵 交叉熵 基尼系数

机器学习 度量 信息熵 相对熵 交叉熵 基尼系数 信息熵 ​ 在信息论或概率统计中，用熵（entropy）度量随机变量的不确定性。熵值越大，随机变量的不确定性就越大。而这个东西与我们决策树有什么关系呢？其实我们就是希望决策树的分支结点所包含的样本尽可能属于同一类别，即这个结点的“纯度”越来越高，而信息熵（information entropy）是度量样本集合纯度最常用的一种指标。 ​ 设 X X

>>阅读原文<<