[信息论与编码] 03. 离散信源、信源熵、联合熵、条件熵

离散信源 信源即信息发出的源头，在后续的信道模型中，信源发出的信息即视为信道输入的信息。 根据信源发出信息的取值，可将信源分为离散信源和连续信源。 顾名思义，离散信源即发出的信息取值为离散型的信源；连续信源即发出的信息取值为连续型的信源。 离散信源中又根据符号出现的概率是否与前面符号有关分为：离散无记忆信源和离散有记忆信源。 信息熵 前面已经了解过了自信息的概念。 自信息表示的是某个事件的不确定性

>>阅读原文<<