信息量，熵，相对熵，交叉熵

转自：http://blog.csdn.net/rtygbwwwerr/article/details/50778098 1.什么是信息量？ 假设 X 是一个离散型随机变量，其取值集合为 X ，概率分布函数为 p(x)=Pr(X=x),x∈X ，我们定义事件 X=x0 的信息量为： I(x0)=−log(p(x0)) ，可以理解为，一个事件发生的概率越大，则它所携带的信息量就越小，而当 p(x0)

>>阅读原文<<