（附）最大熵模型介绍 + （信息论）熵的知识点

联合熵和条件熵 熵：对不确定性的一种度量，不确定性越大熵值越大！（均匀分布是最不确定的分布） 联合熵：两个随机变量X，Y进行或运算！ 条件熵：在Y确定的前提下，X发生带来的熵！（类似于条件概率，联合概率减去边缘概率而已） 利用联合熵对条件熵的推导：   相对熵（交叉熵，K-L距离） 相对熵：衡量两个随机变量之间的距离  交叉熵：对相对熵的形式进行变形   互信息（信息增益） 互信息：定义为两个随机

>>阅读原文<<