直击信息本质 - 信息论

信息论 前言 定义 信息熵 例 信息分析与结果 算法设计 图 算法原理 算法拓展 问题变种 变种1 变种2 关联 排序 存送门 前言 在信息论中，认为信源输出的消息是随机的。即在未收到消息之前，是不能肯定信源到底发送什么样的消息。信源随机总数即为信息总量。信息论，熵的计算从理论上告诉了算法或逻辑的最好性能上限。 定义 信息熵 信息熵的计算公式为 式中对数一般取2为底，单位为比特。但是，也可以取其它

>>阅读原文<<