通俗易懂的信息熵与信息增益（IE, Information Entropy; IG, Information Gain）

信息熵与信息增益（IE, Information Entropy; IG, Information Gain） 信息增益是机器学习中特征选择的关键指标，而学习信息增益前，需要先了解信息熵和条件熵这两个重要概念。 信息熵（信息量）   信息熵的意思就是一个变量i（就是这里的类别）可能的变化越多（只和值的种类多少以及发生概率有关，反而跟变量具体的取值没有任何关系），它携带的信息量就越大（因为是相加累计

>>阅读原文<<