机器学习（决策树一）——最直白的话来说信息熵

接下来几篇博客介绍决策树，并且尽量用最直白的话来讲解。本篇博客介绍决策树中比较重要的一个概念——信息熵。 前置内容 信息熵可以说是决策树中最基本的概念，在介绍信息熵前，补充一点儿前置内容。 假设存在一组随机变量X，各个值出现的概率关系如图 现在有一组由X变量组成的序列: BACADDCBAC…；如果现在希望将这个序列转换为二进制来进行网络传输，那么我们得到一个这样的序列:0100100011111

>>阅读原文<<