熵的通俗理解

上次说了有关熵、条件熵、相对熵、互信息的概念及其之间的关系。为了更好的了解熵，这次谈一谈熵的通俗理解。

---

1. 公式及其含义
2.信息量
3. 由信息量想到的
4. 信息熵

---

1. 公式及其含义

熵的公式：

熵的含义：

样本集合不纯度，熵越小，集合不纯度越低；
知识的不确定性，熵越小，不确定性越小；
系统的复杂度，熵越大，系统越复杂。（系统越复杂，出现不同情况越多，信息量越大，熵越大。）

2. 信息量

信息量是对信息的度量，就好比米是对距离的度量。信息量到底多大，跟发生的事件有关，具体说跟事件发生的概率有关。举两个例子说一下：
1. 刷微博，发现新闻哪位明星出轨了，关键这位明星是给大家的印象很好。于是，我告诉朋友，谁谁出轨了，朋友惊讶地说：“呀，怎么可能啊！”（这是一事件，发生概率小，但是给我们带来了很大的信息，即信息量却很大。也就是说，越不可能发生的事件发生了，则由其带来的信息量就越大。）
2. 一朋友谈了朋友，几年后跟我说他们要结婚了，我说：“恭喜啊！修成正果。”（这一事件相对于上一事件来说，信息量不是那么大，原因是，他们结婚或者没在一起了都是意料之中的事情。也就是说，越能意识到的事情发生了（大概率事件发生了），则由其带来的信息量越小。）

事件发生的概率与信息量之间关系图：

后面的式子会有具体的关系，这条线是与x轴相交于（1，0）点的。

3. 由信息量想到的

假设有两个不相关的事件X、Y，x、y分别为这两个事件的取值。
这两个事件的联合信息：h(x,y) = h(x) + h(y)
这两个事件的联合概率：p(x,y) = p(x)p(y)
上面列的两个式子是有原因的，还是那句话，信息量到底多大，跟发生的事件有关，具体说跟事件发生的概率有关。
因此，h(x)跟p(x)有关，再根据上面的两个式子，h(x)肯定跟p(x)的对数有关。

两点说明：
1. 越不可能发生的事件发生了，则由其带来的信息量就越大。上式满足；
2. 底数2纯属是遵循信息论里的熵。当然，其他底也是可以的。

4. 信息熵

信息量是一具体事件发生所带来的信息；
信息熵则是一事件所有可能性产生信息量的期望。
所以，有下式子：

总结，就一句话，信息熵是一事件所有可能性产生信息量的期望。 本次参考了忆臻的机器学习算法与自然语言处理。 本次讲解了一些关于熵的通俗理解，下次会讲一些条件熵的通俗理解。