KL散度与交叉熵区别与联系

1. 熵 要想明白交叉熵(Cross Entropy)的意义,可以从熵(Entropy) -> KL散度(Kullback-Leibler Divergence) -> 交叉熵这个顺序入手。 通用的说,熵(Entropy)被用于描述一个系统中的不确定性(the uncertainty of a system)。 放在信息论的语境里面来说,就是一个事件所包含的信息量。 2. KL散度 KL散度,有时
相关文章
相关标签/搜索