熵、条件熵、相对熵的介绍

熵的定义 熵是热力学中的概念，表示体系混乱程度的度量。在计算机领域中，熵通常用来表示信息的不确定性程度。信息量的度量就等于不确定性的多少，信息量越大，不确定性越高，熵越大。 例如：有人说广东下雪了。 我们是十分不确定的。因为广东几十年来下雪的次数寥寥无几。为了搞清楚，我们就要去看天气预报，新闻，询问在广东的朋友，而这就需要大量的信息，信息熵很高 例如：太阳从东边出来。这句话是确定的，信息量非常小，

>>阅读原文<<