信息熵，联合熵，交叉熵，相对熵的概念与区别

各种熵之间的关系 H(X, Y) =  H(x) U H(Y);  —— 联合熵的定义：两个随机变量X,Y的联合分布，可以形成联合熵,是并集 H(X|Y) = H(X, Y) - H(Y); H(Y|X) = H(X, Y) - H(X) —— 条件熵的定义 H(X|Y) = H(X) - I(X, Y); H(Y|X) = H(Y) - I(X, Y) I(X, Y) = H(X) - H(X|

>>阅读原文<<