信息熵、编码冗余/信息熵冗余、压缩与解压缩速度

信息熵：是指数据所带的信息量。信息量与信源包含的事件发生的概率有关，事件概率越大，信息量越小；事件概率越小，信息量越大。将信源所有可能事件的信息量进行平均，就得到信息的熵（Entropy）.在不考虑消息间的相关性的时候，信息熵是无失真编码平均长度比特数的下限。 编码冗余：人们用于表达某一信息所需要的比特数总比理论上表示该信息所需要的最少比特数要大，它们之间的差距就是信息熵冗余，或称编码冗余。 编码

>>阅读原文<<