信息论基础知识

信息论基础知识 自信息 信息熵 条件自信息和条件熵 互信息 联合熵 信息率与信道容量 自信息 自信息衡量的是信源符号本身的不确定性。信源符号发生的概率越大，自信息越小；反之，自信息越大。若信源符号 s i s_{i} si​发生的概率为 p i p_{i} pi​，则 s i s_{i} si​的自信息记为 I ( s i ) I(s_{i}) I(si​)。公式为： I ( s i ) = l

>>阅读原文<<