KL散度与交叉熵区别与联系

通用的说,熵(Entropy)被用于描述一个系统中的不肯定性(the uncertainty of a system)。在不一样领域熵有不一样的解释,好比热力学的定义和信息论也不大相同。html 要想明白交叉熵(Cross Entropy)的意义,能够从熵(Entropy) -> KL散度(Kullback-Leibler Divergence) -> 交叉熵这个顺序入手。 固然,也有多种解释方法
相关文章
相关标签/搜索