softmax与cross-entropy loss

1. softmax用于计算概率分布     例如，记输入样例属于各个类别的证据为： 采用softmax函数可以将证据转化为概率： 2. cross-entropy loss用于度量两个概率分布之间的相似性 参考：知乎讲解     熵的本质是香农信息量(log(1/p))的期望。     现有关于样本集的2个概率分布p和q，其中p为真实分布，q非真实分布。按照真实分布p来衡量识别一个样本的所需要的

>>阅读原文<<