信息量、信息熵、交叉熵、KL散度以及交叉损失函数的关系与理解

记事件 p p p,在各个状态下 x i x_i xi​ 的概率为 p ( x i ) p(x_i) p(xi​) 。(假设共n个状态） 1、 信息量：概率越大信息量越小。 − l o g ( p ( x i ) ) -log(p(x_i)) −log(p(xi​)) 2、 信息熵：信息量的期望值： H ( p ) = ∑ i = 1 n p ( x i ) ( − l o g ( p ( x i

>>阅读原文<<