【机器学习】信息量，信息熵，交叉熵，KL散度和互信息（信息增益）

首先先强烈推荐一篇外文博客Visual Information Theory这个博客的博主colah是个著名的计算机知识科普达人，以前很是著名的那篇LSTM讲解的文章也是他写的。这篇文章详细讲解了信息论中许多基本概念的前因后果，并且很是的直观用了大量的图片，和形象化的解释。git 信息量 信息量用一个信息所须要的编码长度来定义,而一个信息的编码长度跟其出现的几率呈负相关,由于一个短编码的代价也是巨

>>阅读原文<<