【让AI飞】信息论--综述

信息论用来对一个信号包含信息的多少进行量化。最初被发明来研究如何在一个含有噪声的信道上用离散的字母表来发送消息，例如通过无线电来传输通信。信息论可以指导我们如何对消息设计最优编码以及计算消息的期望长度。在机器学习总，我们主要是借鉴信息论的一些关键思想来描述概率分布或者量化概率分布之间的相似性。 信息论的基本出发点来自于对现实的观察：一个不大可能的事情发生了，要比一个非常可能发生的事情发生了，能提供

>>阅读原文<<