pytorch的几种常用loss

1.sigmoid 这个可以将输入归一化到0~1之间 该函数也叫Logistic函数 优点：平滑、易于求导。 缺点：激活函数计算量大，反向传播求误差梯度时，求导涉及除法；反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练。 计算公式如下图所示： 2.softmax softmax也是一个归一化函数，是归一化指数函数，其公式如下图所示 函数的输入是从K个不同的线性函数得到的结果，而

>>阅读原文<<