ID3算法

1)信息熵： 假如一个随机变量X的取值为： 每一种取到的概率分别是： 那么X的熵定义为： 意思是一个变量的变化情况可能越多，那么它携带的信息量就越大，信息熵值越大，该系统越不稳定，存在的不定因素就越多。 对于分类系统来说，类别C是变量，它的取值是： 而每一个类别出现的概率分别是 而这里的就是类别的总数，此时分类系统的熵就可以表示为 以上就是信息熵的定义，接下来介绍信息增益。 2)、信息增益： 信息

>>阅读原文<<