机器学习—熵

1.熵 熵：度量了事物的不确定性，越不确定的事物，它的熵就越大。                                                 其中n代表X的n种不同的离散取值。而pipi代表了X取值为i的概率，log为以2或者e为底的对数。举个例子，比如X有2个可能的取值，而这两个取值各为1/2时X的熵最大， 2.联合件熵                            

>>阅读原文<<