深度学习中的信息论知识详解

编码 信息论研究目标: 用最少的编码表示传递信息. 举一个例子来感性认识一下:web 假设两地互相通讯，两地之间一直在传递A，B，C，D四类消息，那应该要选择什么样的编码方式才能尽量少的使用资源呢？机器学习 等长编码 若是这四类消息的出现是等几率的，都为 14 1 4 ，那么确定应该采用等编码方式，也就是ide 信息 A B C D 编码 00 01 10 11 这样就能达到最优的编码方式，平均编

>>阅读原文<<