KL散度&交叉熵&信息熵&不确定性信息度量

0.起源 物理学中的热力学 熵：度量分子在物理空间中的混乱程度； 1.信息熵 信息熵： 度量信息量的多少； 以离散信息为例 离散符号：x1，x2，…，xn； 信息中各符号出现的概率：p1，p2，…，pn； 信息的不确定性函数： f： p—f（p）； p越大，信息的不确定性越小，因此f是一个 减函数； 假设前提： 各符号的出现是相互独立的（与实际不符） 则：f（p1，p2）=f（p1）+f（p2），

>>阅读原文<<