理解香浓熵

理解香浓熵 随机变量的有趣与乏味 香浓熵 均匀分布下的香浓熵 不均匀分布下的香浓熵 随机变量的有趣与乏味 香浓熵用来度量一个随机变量的信息量。 举个例子，假设有一台收音机，每秒钟发出一个单音，这个单音的频率就是随机变量的值。 如果它每次发的音都是一样的，比如，都是440Hz（钢琴上的A4），那么它就很单调乏味，信息量很小。 如果它有时候发440Hz，有时候发261Hz(中央C)，那么信息量就大一点

>>阅读原文<<