【熵系列-2】信息熵

【熵系列-2】信息熵 熵的定义： 根据维基的定义，熵的定义如下：熵是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。直白地解释就是信息中含的信息量的大小，其定义如下： H ( X ) = E [ I ( X ) ] = E ( − l n ( P ( X ) ) ) H(X) = E[I(X)] = E(-ln(P(X))) H(X)=E[I(X)]=E(−ln(P(X)

>>阅读原文<<