第九个知识点：香农(Shannon)定义的熵和信息是什么?

第九个知识点：香农(Shannon)定义的熵和信息是什么

这是计算机理论的最后一篇.咱们讨论信息理论的基础概念,什么是香农定义的熵和信息.

信息论在1948年被Claude E.Shannon创建.信息论最开始被应用于信号处理,可是通过几十年的发展,它如今已经被应用到各个学科了.这篇文章尝试简洁的介绍两个基础的概念,熵(entropy)和信息(information).若是你对这个感兴趣,我我的推荐你在这里学习更多.[1]

熵

熵是衡量一个或者多个变量不肯定性的度量.

假设咱们调查人们打开浏览器的时候打开的第一个网页.咱们用抽样的方法将测试人员分出两组.四个来自Bristol Cryptogroup的密码学研究人员和在Bristol客车站被抽取的四个乘客.让咱们作一个激进的假设,假设四个密码学研究者第一次都会访问http://bristolcrypto.blogspot.co.uk/ .

如今让咱们评价一下他们的答案:显然,密码学家的答案是至关肯定的(低不肯定性),而若是答案来自乘客,则很难猜到(高不肯定性).换句话说,咱们说密码学家组的答案熵低,而乘客组的答案熵高.

所以香农的一个最著名的贡献就是香农熵的定义:

\(H = - \sum_ip_ilog_bp_i\)

其中\(p_i\)是一个以前答案出现的可能性.在计算机科学中,咱们一般使用\(b = 2\)(bits).

若是咱们计算熵值,咱们就有

\(H_{cryptographer} = - \sum_i^41log_21=0\)

\(H_{passenger} = -\sum_1^4log_2(1/4)=2\)

因此乘客的答案的熵确实比密码学家的高!

信息

形式上,Shannon信息的定义在[2]中给出:

信息是衡量一我的在选择信息时的选择自由.

为了解释这个问题,让咱们对前面的事例作一个小的修改.让咱们从Bristol火车站再抓四个乘客,假设他们的答案也是随机门户,就像长途汽车站的乘客同样.

问题是:给定一个答案\(y\),你能说答案来自哪一组?

若是\(y\)是http://bristolcrypto.blogspot.co.uk/,那么咱们立刻就能够知道答案来自于咱们的密码编码员组.可是若是y是随机的,咱们就会遇到困难.所以咱们就能够说http://bristolcrypto.blogspot.co.uk/包含比随机的更多的信息.

所以它们跟熵有什么关系?

扩展熵的定义,咱们将条件熵定义为:

\[ H(Y|X) = sum_{x \in X}p(x)H(Y|X=x) \]

这个公式描述了当\(X=x\)条件\(Y\)的熵.更明确的说,由于熵是一个变量的不肯定性.所以,先前条件熵的定义其实是当给定条件为"线索"(条件)\(X\)的不肯定的\(Y\).

观察:考虑两个变量\(X\)和\(Y\).若是\(X\)包括\(Y\)的最小信息,而后给出一个额外的\(X\)的精确值对咱们推断\(Y\)的值应该没有多大帮助,也就是说,它并无明显的下降\(Y\)的不肯定性.另外一方面,若是\(X\)包含了\(Y\)的基本信息.那么当\(X\)给定时,\(Y\)的熵应该是低了不少.所以,条件熵能够看做是看做是对\(X\)对\(Y\)的信息是一种合理的度量!

另外一个重要的指标就是互信息(Mutual Information).它是两个变量测量的度量.一种定义它的方法就是熵的减小值.

\(I(X;Y) = H(X)-H(X|Y)=H(Y)-H(Y|X)\)

密码学实例

信息论的概念普遍应用于密码学.一个典型的例子就是把密码学看做一个信道,明文是输入,密文是输出.侧信道的研究也得益于信息论.

[1] Thomas M. Cover and Joy A. Thomas. Elements of Information Theory
​ 2nd Edition. Wiley-Interscience, 2 edition, July 2006.

[2] S. Vajda, Claude E. Shannon, and Warren Weaver. The mathematical
​ theory of communication. The Mathematical Gazette, 34(310):312+,
​ December 1950.

[3] http://en.wikipedia.org/wiki/Entropy_%28information_theory%29