数学（三）信息熵、相对熵(KL散度)和交叉熵

『熵』这个词语听起来很高大上，如果搞明白含义就会发现它其实比较简单，但是如果不经常用的话，会时长忘记，因而写这篇文章是为了备忘。如果大家想弄清楚熵以及熵延伸出来的相对熵(KL散度)以及交叉熵的话，也可以参考下这篇博客。 关键字：信息熵，相对熵，KL散度，交叉熵 本篇博客首先会通过生活中的例子来讲解熵的由来，并且依次为基础介绍相对熵(KL散度)和交叉熵，因而本篇博客的主要内容如下： 信息熵 相对熵(

>>阅读原文<<