信息论 -- 熵与互信息

http://blog.csdn.net/pipisorry/article/details/51695283 这篇文章主要讲：熵, 联合熵(joint entropy),条件熵(conditional entropy),相对熵(relative entropy,KL 距离),互信息(mutual information),交叉熵(cross entropy),困惑度(perplexity)。 熵

>>阅读原文<<