概率与信息熵

期望的定义 信息熵 不确定性的度量，值越大，不确定性越大。 一个事件的发生的概率离0.5越近，其熵就越大，概率为0或1就是确定性事件，不能为我们带信息量。也可以看作是一件事我们越难猜测是否会发生，它的信息熵就越大。 H(X)=−∑xεXP(x)logP(x)) 交叉熵 在信息论中，交叉熵是表示两个概率分布p,q，其中p表示真实分布，q表示非真实分布，在相同的一组事件中，其中，用非真实分布q来表示某

>>阅读原文<<