深度学习(十三)——loss及其梯度

MSE：均方差 需要求偏导的参数，要特别写出来 因为是动态图，所以要再次求mse 两种求梯度的写法 softmax 由来 输出的值想要最大的，认为转化为概率0-1 如果用sigmoid，概率相加可能不等于1 softmax：把值大的变的更大，值小的压缩到密集的空间，差距拉大，所以叫soft version of max，最大的极度舒适版本呀==！ i=j时 i!=j 总结： 只有i=j时，偏导为正

>>阅读原文<<