分类问题为什么要用交叉熵

1. 信息熵 信息熵就是信息的不确定程度，信息熵越小，信息越确定 信 息 熵 = ∑ 事 件 x 发 生 的 概 率 ∗ 验 证 事 件 x 需 要 的 信 息 量 信息熵=\sum 事件x发生的概率*验证事件x需要的信息量 信息熵=∑事件x发生的概率∗验证事件x需要的信息量 事件发生的概率越低，需要越多的信息去验证，所以验证真假需要的信息量和事件发生的概率成反比，假设信息量为 I ( x ) I

>>阅读原文<<