信息论(Information theory)的一些知识点

①—熵(entropy)           对于一个变量X~p（X服从p分布），该变量的熵是 描述该变量的不确定性的一个值           eg:对于一个有k个状态的离散随机变量X，有                      a.当log以2为底的时候称之为 bits,结果可以视为多少个二进制位可以表示该变量           b.当log以e为底的时侯称之为 nats ②—KL div

>>阅读原文<<