深度学习中的信息论知识详解

编码 信息论研究目标: 用最少的编码表示传递信息. 举一个例子来感性认识一下: 假设两地互相通信，两地之间一直在传递A，B，C，D四类消息，那应该要选择什么样的编码方式才能尽可能少的使用资源呢？ 等长编码 如果这四类消息的出现是等概率的，都为 14 1 4 ，那么肯定应该采用等编码方式，也就是 信息 A B C D 编码 00 01 10 11 这样就能达到最优的编码方式，平均编码长度为 2×14

>>阅读原文<<