信息论中的熵（信息熵，联合熵，交叉熵，互信息）和最大熵模型

摘要： 　　1.信息的度量 　　2.信息不确定性的度量  内容： 1.信息的度量 　　直接给出公式，这里的N(x)是随机变量X的取值个数，至于为什么这么表示可以考虑以下两个事实： 　　（1）两个独立事件X,Y的联合概率是可乘的，即，而X,Y同时发生的信息量应该是可加的，即，因此对概率取了负对数（保证非负） 　　（2）一个时间发生的概率越大，其信息量越小，因此对概率取了负对数（保证非负） 举两个例子

>>阅读原文<<