信息论

基本概念 熵 若是X是一个离散随机变量，取值空间为 R , 其几率分布为 p(x)=p(X=x),x∈R ，那么X的熵 H(x) 定义为web H(x)=−∑p(x)log2p(x) 其中约定 0log0=0 ，对数以2为底的熵的单位为二进制位比特。svg 联合熵 若是 X,Y 是一对随机变量， X,Y ~ p(x,y) , X,Y 的联合熵H(X, Y)定义为：atom H(X,Y)=−∑x∈X

>>阅读原文<<