熵、联合熵、条件熵、相对熵、互信息的定义

为了更好的理解，需要了解的概率必备知识有： 大写字母X表示随机变量，小写字母x表示随机变量X的某个具体的取值； P(X)表示随机变量X的概率分布，P(X,Y)表示随机变量X、Y的联合概率分布，P(Y|X)表示已知随机变量X的情况下随机变量Y的条件概率分布； p(X = x)表示随机变量X取某个具体值的概率，简记为p(x)； p(X = x, Y = y) 表示联合概率，简记为p(x,y)，p(Y

>>阅读原文<<