信息熵 Information Entropy

信息熵用于描述信源的不肯定度, 即用数学语言描述几率与信息冗余度的关系.

C. E. Shannon 在 1948 年发表的论文A Mathematical Theory of Communication中指出, 任何信息都存在冗余, 冗余大小与信息中每一个符号(数字, 字母或单词)的出现几率或者说不肯定性有关. Shannon 借鉴了热力学的概念, 把信息中排除了冗余后的平均信息量称为信息熵, 并给出了计算信息熵的数学表达式.

一个信源发送出什么符号是不肯定的, 衡量它能够根据其出现的几率来度量: 几率大出现机会多, 则不肯定性小; 反之则不肯定性就大.
不肯定性函数f是几率P的减函数, 两个独立符号所产生的不肯定性应等于各自不肯定性之和, 即f(P₁,P₂)=f(P₁)+f(P₂), 这称为可加性, 同时知足这两个条件的函数f是对数函数, 即

$ f(P) = \log \frac{1}{P} = -\log P $

在信源中, 考虑的不是某一单个符号发生的不肯定性, 而是要考虑这个信源全部可能发生状况的平均不肯定性. 若信源符号有n种取值: U₁, ... U_i, ...U_n, 对应几率为 P₁, ... P_i,... P_n, 且各类符号的出现彼此独立, 此时信源的平均不肯定性应当为单个符号不肯定性-logP_i的统计平均值(E), 可称为信息熵, 即

$ H(U) = E\left [ -\log p_i \right ] = -\sum_{i=1}^{n}p_i\log p_i $

式中对数通常取2为底, 单位为比特. 也能够取其它对数底, 采用其它相应的单位, 可用换底公式换算.

信息的基本做用就是消除人们对事物的不肯定性, 信息熵就是一个在博弈对局中信息混乱的现象. 当32个球队夺冠几率相同(即最混乱)时, 对应的信息熵等于五比特. 能够证实当n=32时信息熵公式的值不可能大于5.

信息熵是信息论中用于度量信息量的一个概念, 一个系统越是有序, 信息熵就越低; 反之, 一个系统越是混乱, 信息熵就越高. 因此信息熵也能够说是系统有序化程度的一个度量.

熵的概念源自热物理学
假定有两种气体a, b, 当两种气体彻底混合时, 能够达到热物理学中的稳定状态, 此时熵最高. 若是要实现反向过程, 即将a, b彻底分离, 在封闭的系统中是没有可能的. 只有外部干预, 也即系统外部加入某种有序化的东西(如能量), 使得a, b分离. 这时系统进入另外一种稳定状态, 此时信息熵最低. 热物理学证实: 在一个封闭的系统中, 熵老是增大, 直至最大. 若要使系统的熵减小(使系统更加有序化), 则必须有外部能量的干预.

信息熵的计算是很是复杂的, 而具备多重前置条件的信息, 更是几乎不能计算的, 因此在现实世界中信息的价值大可能是不能被计算出来的. 但由于信息熵和热力学熵的紧密相关性, 因此信息熵是能够在衰减的过程当中被测定出来的. 所以信息的价值是经过信息的传递体现出来的, 在没有引入附加价值(负熵)的状况下, 传播得越广流传时间越长的信息越有价值. 在传播中是指信息的不肯定性, 一则高信息度的信息熵是很低的, 低信息度的熵则高. 具体说来, 凡是致使随机事件集合的确定性, 组织性, 法则性或有序性等增长或减小的活动过程, 均可以用信息熵的改变量这个统一的标尺来度量.