深度学习(十八)——交叉熵

交叉熵（Cross Entropy Loss）也是一种loss 香农定理： 用概率决定信息量，公式的意义：比如：买彩票，中100万奖概率小，一旦你中奖了，这个信息量就很大了；但你花10块钱买了一袋零食，本来概率就是100%，这个信息量就很小，由概率决定信息量，两者呈反比。 所以，如果4分类，每个分类出来的概率都是25%，不确定性很高，即求出的E（熵）就很大，可以用作loss。 KL代表散度

>>阅读原文<<