【ML Method】熵、联合熵、条件熵、互信息、相对熵、交叉熵

更新时间：2018-07-18 前言 之前有写过一篇文章介绍信息增益、Gini、信息增益率的，上面介绍过熵及其相关概念，地址为：https://blog.csdn.net/roguesir/article/details/76619919。这篇文章从另外的角度详细介绍熵、联合熵、条件熵、互信息、相对熵、交叉熵、信息增益等信息，为后面介绍最大熵模型做铺垫。下面进行详细介绍： 熵的概念理解 熵（Ent

>>阅读原文<<