练习3习题

一:信息论基础 1.熵 熵是用来衡量一个系统混论程度的物理量,代表一个系统中蕴含多少信息量,信息量越大表明一个系统不确定性就越大,就存在越多的可能性。 熵(entropy)就用来衡量整个系统的总体信息量,其计算公式如下 2.联合熵 将一维随机变量分布推广到多维随机变量分布,则其联合熵 : 3.条件熵 条件熵 H(Y|X)H(Y|X) 表示在已知随机变量 XX 的条件下随机变量 YY 的不确定性。条
相关文章
相关标签/搜索