信息熵和称小球问题

先简单说一下关于信息熵的东西：

信息熵是信息多少的量度，一个事件所携带的信息量跟它出现的几率反相关，直观上来讲，一个事件出现的越频繁则每次该事件出现时携带的信息就少，反之若是一个事件很是少见，则该事件出现的时候携带的信息量就很是高。

具体公式是：

$$I= -log(p)$$ 也就是

$$I=log(p/1)$$

其中p为此事件的几率

其指望为：

$$E(I) = -\sum plog(p)$$

当log是以2为底的时候 I的单位为 bit，当log以e为底时，I的单位为nat，在信息论中他们对应有具体的应用。

 

咱们能够用信息熵的理论来解决常常遇到的脑筋急转弯-称小球问题：

给定N个小球，和一台天平，若是知道其中有一个小球偏重，可是不知道是具体哪个，如今想用天平去把这个小球找出来，最少须要用多少次天平？

（1）每一次使用天平，能够获得三种可能，左偏，右偏，平衡，并且这三种多是几率相等的，因此每一次使用天平的结果都携带log3的信息量。

（2）要从N个小球中找到那个不同，能够有N种几率相同的可能，每一个小球均可能偏重，这个事件所携带的信息量是 logN。

因此能够获得 最少可使用 logN/log3次天平 就能够凑够信息量，指出哪个是重的。

 

给定N个小球，和一台天平，若是知道其中有一个小球和别的不同，可是不知道是具体哪个，如今想用天平去把这个小球找出来，最少须要用多少次天平？

（1）每一次使用天平，能够获得三种可能，左偏，右偏，平衡，并且这三种多是几率相等的，因此每一次使用天平的结果都携带log3的信息量。

（2）要从N个小球中找到那个不同，能够有2N种几率相同的可能，每一个小球均可能偏轻或者偏重，这个事件所携带的信息量是 log2N。

因此能够获得 最少可使用 log2N/log3次天平 就能够凑够信息量，指出哪个是不同的。