信息论中的香农熵、条件熵、最大熵、相对熵、交叉熵理解

目录 信息论基础 信息熵、香农熵 最大熵定理 条件熵 信息增益 信息增益与决策树算法 相对熵与GAN算法 相对熵 相对熵的致命问题 交叉熵 结束语 信息论基础 前几天朋友问我决策树中的香农熵公式来源的理解,我很早以前看过,但是发现现在又什么都回答不出了,所以决定补一下信息论的基础。这里记录下自己的理解 信息熵、香农熵 信息熵也叫香农熵 信息熵用于表示随机变量不确定性,即信息熵越大则变量的不确定性越
相关文章
相关标签/搜索