交叉熵和信息熵

交叉熵： 用于多分类的损失函数，熵越大模型越不确定，熵越小模型越确定，即优化模型目的是最小化交叉熵 公式如下： 例子： 信息熵： 信息熵是消除不确定性所需信息量的度量，也即未知事件可能含有的信息量，信息熵大小与观测者的观测粒度有关，即在 P ( x i ) P(x_i) P(xi​)这个观测分布下熵的大小 相对熵（KL散度） 如果对于同一个随机变量 X X X有两个单独的概率分布 P ( x )

>>阅读原文<<