熵、信息熵、交叉熵详解

目录 0 前言 1 熵 1.1 自信息和熵 1.2 熵编码 1.3 联合熵和条件熵 2 互信息 3 交叉熵 0 前言 信息论（ Information Theory） 是数学、 物理、 统计、 计算机科学等多个学科的交叉领域。 信息论是由克劳德· 香农最先提出的， 主要研究信息的量化、存储和通讯等方法．这里，“信息” 是指一组消息的集合。 假设在一个噪声通道上发送消息， 咱们须要考虑如何对每个信息

>>阅读原文<<