信息熵，条件熵，互信息的通俗理解

自信息（self-information）： I(x)=   =  - log( p(x) )         （1） 式中的log表示自然对数， 如果用以2为底的对数，单位是比特（bit）。 上式是什么意思？p(x)是指x发生的概率，I(x)代表x所包含的信息量。考虑这么一个问题，马云破产以及马云获得全国首富这两个事件，那个包含的信息量大？当然是马云破产的信息量更大，因为它发生的概率非常小。这也

>>阅读原文<<