最大熵与正态分布

最大熵与正态分布 Question 已知随机分布的均值和方差，求使得熵最大的概率分布。 求解 首先将问题翻译成数学语言： 其中p(x)为概率分布密度函数，信息熵表示变量的确定性程度，熵越大确定性程度越低，也即表示未知越多。在信息论中，最大熵原理是一个非常重要的原则，也是奥卡姆剃刀原则在信息论中的应用，用一句通俗的话讲，就是如果你不知道事件的真相，那么你只能按照已知的信息去推测所有的可能和可能性，而

>>阅读原文<<