信息瓶颈理论-笔记

什么是信息瓶颈理论 信息瓶颈（英语：information bottleneck）理论是信源压缩的率失真理论的一种拓展。通俗讲： 由于没有先验知识，于是只好都记住，但是可以消除数据本身的冗余（如huffman编码）。这个是最传统的数据压缩，如果允许压缩时失真，对应的是率失真理论：给定失真下可获得的最低压缩码率，即在失真和压缩码率之间权衡。 如果有先验知识，比如数据是带标签的，那消除数据本身的冗余之

>>阅读原文<<