CrossEntropy｜8月更文挑战

Entropy

\begin{aligned} \text{Entropy} &= \sum_i P(i)\log\frac{1}{P(i)} \\ &= -\sum_i P(i)\log P(i) \end{aligned}

上面的公式是香农熵的定义，但看这个式子可能没有什么感受，下面咱们举个例子html

假设有四我的，每一个人中奖几率是均等的（都是 $\frac{1}{4}$ ），咱们算一下这个分布的Entropypython

a = torch.full([4], 1/4.) # tensor([0.2500, 0.2500, 0.2500, 0.2500])
print("Entropy:", -(a*torch.log2(a)).sum()) # Entropy: tensor(2.)
复制代码

熵越高，表明越稳定，越没有惊喜度git

假设仍是四我的，但中奖几率变为0.1,0.1,0.1,0.7，此时Entropy变成多少了呢？markdown

a = torch.tensor([0.1, 0.1, 0.1, 0.7])
print("Entropy:", -(a*torch.log2(a)).sum()) # Entropy: tensor(1.3568)
复制代码

咱们计算获得这种状况熵变小了，能够理解为，假设在这种几率分布的状况下，告诉你中奖了，你的惊喜程度会比同等中奖几率下的惊喜程度要大app

最后，假设中奖几率变为0.001,0.001,0.001,0.997，此时Entropy变为多少了呢？函数

a = torch.tensor([0.001, 0.001, 0.001, 0.997])
print("Entropy:", -(a*torch.log2(a)).sum()) # Entropy: tensor(0.0342)
复制代码

这种状况的熵更小了，说明在这种几率分布状况下，你中奖的惊喜程度特别特别大oop

Cross Entropy

计算一个分布 $p$ 的Entropy，咱们一般用 $H(p)$ 来表示。计算两个分布的Cross Entorpy，咱们一般用 $H(p,q)$ 来表示， $H(p,q)$ 的计算公式为优化

\begin{aligned} H(p,q)&= -\sum p(x) \log q(x) \\ &= H(p) + D_{KL}(p|q) \end{aligned}

其中 $D_{KL}$ ，即Kullback–Leibler divergence，中文翻译是相对熵或信息散度，其公式为ui

D_{KL}(P|Q) = -\sum_i P(i)\ln\frac{Q(i)}{P(i)}

简单一点理解就是，假如把P和Q做为函数画出来，它俩重叠的部分越少， $D_{KL}$ 越大，若是两个函数图像几乎彻底重合， $D_{KL}≈0$ 。若是 $P=Q$ , 则Cross Entropy就等于Entropyspa

对于一个Classification问题，咱们获得的pred是一个0-1 Encoding，即[0 0...1...0...0]，很明显，这个pred的Entropy $H(p)=0$ ，由于 $1\log1=0$ ，那么这个pred和真实的Encoding $q$ 之间的Cross Entropy

\begin{aligned} H(p,q)&= H(p) + D_{KL}(p|q) \\ &= D_{KL}(p|q) \end{aligned}

也就意味着，当咱们去优化 $p$ 和 $q$ 的Cross Entropy的时候，若是是0-1 Encoding，它就至关于直接优化 $p$ 和 $q$ 的KL divergence，而前面也说了， $p$ 和 $q$ 的KL divergence是衡量这两个分布的重叠状况，当KL divergence接近于0时， $p$ 和 $q$ 就愈来愈接近，这刚好就是咱们要优化的目标

下面咱们举个例子来讲明 $H(p,q)$ 就是咱们须要优化的目标，假设如今有一个5分类问题（能够想象为五种动物），真实值 $p = [1\ 0\ 0\ 0\ 0]$ ，预测值 $q = [0.4\ 0.3\ 0.05\ 0.05\ 0.2]$ ，则

\begin{aligned} H(p,q)&= -\sum_i p(i)\log q(i) \\ &= -(1\log0.4 + 0\log0.3 + 0\log0.05 + 0\log0.05 + 0\log0.2) \\ &= -\log0.4 \\ &≈ 0.916 \end{aligned}

假设通过一轮参数更新之后，预测值发生了变化 $q = [0.98\ 0.01\ 0\ 0\ 0.01]$ ，则

\begin{aligned} H(p,q)&= -\sum_i p(i)\log q(i) \\ &= -(1\log0.98 + 0\log0.01 + 0\log0 + 0\log0 + 0\log0.01) \\ &= -\log0.4 \\ &≈ 0.02 \end{aligned}

Cross Entropy大概降低了0.8左右，假如使用MSE做为Loss，大概只会降低0.3~0.4左右，因此咱们感性认识一下，使用Cross Entropy梯度降低的更快

import torch
import torch.nn.functional as F
x = torch.randn(1, 784) # [1, 784]
w = torch.randn(10, 784) # [10, 784]
logits = x@w.t() # [1, 10]
pred = F.softmax(logits, dim=1)
pred_log = torch.log(pred)

''' 注意下面cross_entropy和nll_loss传入参数的区别 '''
print(F.cross_entropy(logits, torch.tensor([3])))
# cross_entropy()函数已经把softmax和log打包在一块儿了，因此必须传一个原生的值logits

print(F.nll_loss(pred_log, torch.tensor([3])))
# null_loss()函数传入的参数须要通过softmax和log
复制代码