信息论学习总结（一）基础知识

咱们考虑一下一个离散的随机变量x,当咱们观察到它的一个值，能给咱们带来多少信息呢？这个信息量能够看作是咱们观察到x的这个值带来的惊讶程度。咱们被告知一个不太可能发生的事发生了要比告知一个很是可能发生的事发生，咱们得到信息要多。 因此信息量的多少依赖于几率分布p(x)，因此咱们能够用关于p(x)的一个函数来建模信息量h(x).那什么函数模型适合表达呢？ 咱们观察两个相互独立的事件x，y，咱们观察它获

>>阅读原文<<