（三）PyTorch学习笔记——softmax和log_softmax的区别、CrossEntropyLoss() 与 NLLLoss() 的区别、log似然代价函数

一、softmax 函数 Softmax(x) 也是一个 non-linearity, 但它的特殊之处在于它一般是网络中一次操做. 这是由于它接受了一个实数向量并返回一个几率分布.其定义以下. 定义 x 是一个实数的向量(正数或负数都无所谓, 没有限制). 而后, 第i个 Softmax(x) 的组成是 css exp(xi)∑jexp(xj) exp ⁡ ( x i ) ∑ j exp ⁡ (

>>阅读原文<<