信息量、熵、最大熵、联合熵、条件熵、相对熵、互信息，信息增益

1 信息量 信息量是用来衡量一个事件的不确定性的；一个事件发生的概率越大，不确定性越小，则它所携带的信息量就越小。 假设X是一个离散型随机变量，其取值集合为X ，概率分布函数为p(x)=Pr(X=x),x∈X，我们定义事件X=x0的信息量为： 当p(x0)=1时，熵将等于0，也就是说该事件的发生不会导致任何信息量的增加。 举个例子，小明考试经常不及格，而小王则经常得满分，所以我们可以做如下假设：

>>阅读原文<<