ID3 算法

1)信息熵：  假如一个随机变量的取值为，每一种取到的概率分别是，那么    的熵定义为                      意思是一个变量的变化情况可能越多，那么它携带的信息量就越大，信息熵值越大，该系统越不稳定，存在的不定因素就越多。      对于分类系统来说，类别是变量，它的取值是，而每一个类别出现的概率分别是                      而这里的就是类别的总数，此时分

>>阅读原文<<