自然语言处理（信息论）-信息熵、联合熵、联合熵、条件熵、相对熵、互信息、交叉熵

01.信息熵(entropy) 如果 X X X是一个离散性随机变量，其概率分布为: P ( x ) = P ( X = x ) x ∈ X P(x) = P(X = x) x \in X P(x)=P(X=x)x∈X， X X X的熵 H ( X ) H(X) H(X)为： H ( X ) = − ∑ x ∈ X P ( x ) log ⁡ 2 P ( x ) H(X) = - \sum \li

>>阅读原文<<