一文说清楚你头疼不已的熵们：信息熵、联合熵、条件熵、互信息、交叉熵、相对熵（KL散度）

文章目录 1. 信息熵 2. 联合熵 3. 条件熵 4. 互信息 5. 交叉熵 6. 相对熵（KL散度） 7. 总结   说起熵，相信看本文的你一定听过这个概念，我们以前高中的时候在化学里学过，我们有一种大致的概念就是：熵是描述系统混乱程度的一种物理量，而且我们知道世界是向着熵增的方向进行的。那么在信息论里面，熵又是一种什么样的存在呢，为什么要引入这样抽象的一个概念，香农大佬为啥要把人搞得迷迷糊糊

>>阅读原文<<