【笔记】信息论基础

一. 相关概念 1. 各种熵 （1）自信息 信息理论认为，一个事件的信息量大小和它发生的概率相关。发生概率越大，信息量越小。发生概率越小，信息量越大。根据信息量要非负，可以相加等一系列性质，反正最后香农爸爸发现，负log函数是唯一满足要求的。因此自信息定义为 画成图的话，大概就是和概率成一个反比的样子。 (2)信息熵 对于一个事件X，比如说明天是晴天还是阴天，我对这个事件预测的话，把握有多大呢，也

>>阅读原文<<