机器学习与数学基础3

4.信息论基础 (1)基本概念 信息熵 信息论是应用数学的一个分支，主要研究的是对一个信号能够提供信息的多少进行量化。最初用于研究在一个含有噪音的信道上用离散的信道来发送信息，指导信息的优化编码等。 一个基本idea：导致那些“异常”事件发生的背后拥有我们更想知道的东西。 信息熵的意义: 联合熵 条件熵 三者关系 相对熵 也称为KL散度，信息增量，信息增益 互信息: 相互关系: Ending…

>>阅读原文<<