KL距离/相对熵

P和q不满足对称性,所以不是真正的“距离” (数学中的距离必须满足非负性、对称性、三角不等式) 当两个概率分布完全相同时,相对熵为0 【证明: (1) 若存在x使得q(x)=0,则D(q||p)=∞ (2) 若q(x)> 0, D(q||p)
相关文章
相关标签/搜索