信息论

文章目录 信息论 1 信息量 2 信息熵 3 条件熵 4 互信息 5 相对熵 6 交叉熵 信息论 信息论的基本想法是一个不太可能的事情发生要比一个常可能发生的事件提供更多的信息html 1 信息量 ​ 度量信息多少的一个物理量,从量上反应具备肯定几率的事件发生是所传递的信息 ​ 用几率表示一个发生几率为p的事件发生传递的信息量为 − l o g 2 ( p ) -log_2(p) −log2​(p
相关文章
相关标签/搜索