熵，条件熵，相对熵，互信息的相关定义及公式推导

转自https://www.cnblogs.com/baby-lily/p/12859827.html 熵 熵是随机变量不确定性的度量，不确定性越大，熵值越大，若随机变量退化成定值，熵为0，均匀分布是最不确定的分布。熵其实定义了一个函数(概率分布函数)到一个值(信息熵)的映射。熵的定义公式如下： 在经典熵的定义中，底数是2，此时熵的单位是bit，若底数是e，则熵的单位是nat(奈特) 联合熵以及条

>>阅读原文<<