练习3习题

一：信息论基础 1.熵 熵是用来衡量一个系统混论程度的物理量，代表一个系统中蕴含多少信息量，信息量越大表明一个系统不确定性就越大，就存在越多的可能性。 熵（entropy）就用来衡量整个系统的总体信息量，其计算公式如下 2.联合熵 将一维随机变量分布推广到多维随机变量分布，则其联合熵 ： 3.条件熵 条件熵 H(Y|X)H(Y|X) 表示在已知随机变量 XX 的条件下随机变量 YY 的不确定性。条

>>阅读原文<<