cs224n-第4课 window classification, Nerual network

1. 交叉熵损失（Cross-Entroy loss) 信息论中的概念，衡量两个概率分布间的差异性信息。我们假设真实概率为p，程序模型计算的概率为q，类别总数为C，那么交叉熵为： H ( p , q ) = − ∑ c = 1 C p ( c ) log ⁡ q ( c ) H(p,q)=-\sum_{c=1}^{C}p(c)\log q(c) H(p,q)=−c=1∑C​p(c)logq(c)

>>阅读原文<<