信息熵（香农熵），相对熵（KL散度）， 交叉熵 三者的对比以及 吉布斯不等式

各种各样信息科学中，无论是通信还是大数据处理，各种“熵”是非常重要的，因为它可以度量随机变量不确定度，量化信息量的大小。 信息熵(香农熵） 首先复习一下信息熵(香农熵），辅助我们对相对熵和交叉熵的理解。 对于一个随机变量 X X ,其可能的取值分别为 X={x1,x2,x3,...xn} X = { x 1 , x 2 , x 3 , . . . x n } ,对应概率为 P(X=xn)=Pn P

>>阅读原文<<